Anleitung
Release-Umgebungen auf Kubernetes: mit Crossplane bereitstellen, mit Argo Workflows testen
Eine Release-Umgebung ist eine vollständige Kopie der Plattform für genau einen Release-Kandidaten: eigener Namespace, eigene Datenbank, eigene Topics, eigene Testdaten. Crossplane erzeugt sie aus einem einzigen Kubernetes-Objekt, Argo Workflows fährt die End-to-End-Tests darauf und räumt danach auf. Dieser Artikel beschreibt, wie beide Teile zusammenspielen, welche Entscheidungen vorher fallen müssen und woran solche Umgebungen in der Praxis scheitern.
Er richtet sich an Plattform- und Testteams, die heute eine geteilte Staging-Umgebung haben und pro Release zu lange auf einen freien Slot warten.
1. Warum eine geteilte Staging-Umgebung nicht reicht
Auf einer ereignisgetriebenen Plattform mit vielen Teams, im Kundenprojekt Kafka mit Avro-Schemata und Spring-Boot-Diensten, treffen sich alle Releases in derselben Staging-Umgebung. Dort passiert immer dasselbe: Team A testet, Team B rollt derweil eine neue Version aus, und der fehlgeschlagene Test von Team A lässt sich nicht mehr zuordnen. Jemand setzt die Datenbank zurück, und die Testdaten von drei anderen Teams sind weg. Am Ende hält ein Wiki-Eintrag fest, wer wann Staging „hat”.
In einem Projekt, in dem wir die Release-Tests einer Datenplattform für Fahrgastinformation verantwortet haben, war die Ausgangslage genau so: eine primitive GitLab-CI-Pipeline, die auf eine geteilte Umgebung deployte, und Tests, die nur eine Person im Kopf reproduzieren konnte. Der Weg heraus hat zwei Hälften: Umgebungen, die pro Release-Kandidat entstehen, und Tests, die ohne Menschen durchlaufen.
2. Was eine Release-Umgebung enthalten muss
Vor dem ersten Werkzeug steht eine Liste. Welche Bausteine braucht ein Release-Kandidat, damit ein End-to-End-Test etwas aussagt?
| Baustein | Pro Umgebung oder geteilt | Warum |
|---|---|---|
| Namespace mit ResourceQuota und LimitRange | pro Umgebung | Isolation und eine Obergrenze, damit zehn parallele Umgebungen den Cluster nicht leer laufen lassen |
| Datenbank (Schema oder Instanz) | pro Umgebung | Tests schreiben; geteilte Daten machen Ergebnisse unreproduzierbar |
| Message-Topics oder ein eigener Topic-Präfix | pro Umgebung | Ein Consumer darf nur Ereignisse seines eigenen Release-Kandidaten sehen |
| Schema-Registry | geteilt, mit Präfix | Die Schemata sind versioniert; nur die Subjects brauchen einen Umgebungs-Präfix |
| Datenlieferanten (Simulatoren) | pro Umgebung | Externe Datenquellen werden durch Testlieferanten ersetzt, die reproduzierbare Ereignisse einspielen |
| Ingress-Hostname | pro Umgebung | Damit Testrunner und Menschen die Umgebung erreichen |
| Secrets | pro Umgebung, generiert | Keine Produktions-Zugangsdaten in Testumgebungen |
Die Spalte „pro Umgebung oder geteilt” ist die eigentliche Architekturentscheidung. Jeder geteilte Baustein ist später eine Fehlerquelle, jeder dedizierte kostet Zeit beim Aufbau. Ein Kafka-Cluster pro Umgebung lohnt sich selten; ein Topic-Präfix pro Umgebung fast immer.
3. Crossplane: eine Umgebung ist ein Kubernetes-Objekt
Crossplane erweitert Kubernetes um eigene Ressourcentypen. Für Release-Umgebungen definieren Sie eine CompositeResourceDefinition (XRD), etwa ReleaseEnvironment, und eine Composition, die beschreibt, welche Objekte aus einer solchen Umgebung entstehen: Namespace, Quota, Datenbank, Topics, Secrets, Ingress.
apiVersion: platform.example.org/v1alpha1
kind: ReleaseEnvironment
metadata:
name: rc-2419
spec:
release: '2419'
imageTag: 'sha-8f3a1c2'
ttl: 6h
dataset: baseline-small
Mehr muss ein Team nicht wissen. Das Objekt wird angelegt, Crossplane rendert die Composition, und wenige Minuten später antwortet rc-2419.release.example.test. Wird das Objekt gelöscht, verschwinden alle abgeleiteten Ressourcen mit ihm. Das ist der entscheidende Unterschied zu einem Shell-Skript, das Umgebungen erzeugt: Crossplane kennt den Soll-Zustand und gleicht laufend ab. Ein Namespace, den jemand von Hand gelöscht hat, kommt zurück; ein Objekt, das niemand mehr braucht, hinterlässt keine Reste.
Drei Dinge gehören in die Composition, die Teams gern vergessen:
- Ein
ttl-Feld und etwas, das es durchsetzt. Crossplane selbst löscht nichts nach Zeit. Ein kleiner CronJob oder ein Argo-Workflow, der abgelaufeneReleaseEnvironment-Objekte löscht, verhindert, dass der Cluster am Freitagabend voll ist. - Die Datenbank als Provider-Ressource, nicht als Pod. Wer Postgres pro Umgebung als Deployment in den Namespace stellt, hat beim Löschen des Namespace auch die Daten gelöscht, was gewollt ist, aber beim Debugging eines fehlgeschlagenen Tests ärgert. Ein Datenbank-Operator oder ein Schema in einer geteilten Instanz mit umgebungsspezifischem Namen ist sauberer; der Testlauf kann dann ein Dump als Artefakt sichern, bevor die Umgebung fällt.
- Status-Felder, die der Testrunner lesen kann. Die Composition schreibt Hostname, Datenbank-Secret-Name und Topic-Präfix in
status. Der Workflow liest sie von dort, statt Namenskonventionen zu raten.
4. Argo Workflows: der Test als DAG
Argo Workflows führt Schritte als Container aus und kennt Abhängigkeiten zwischen ihnen. Ein End-to-End-Release-Test ist ein gerichteter Graph:
apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
generateName: release-test-
spec:
entrypoint: main
onExit: teardown
templates:
- name: main
dag:
tasks:
- name: provision
template: create-environment
- name: wait-ready
template: wait-for-status
dependencies: [provision]
- name: seed
template: load-dataset
dependencies: [wait-ready]
- name: feed
template: start-simulators
dependencies: [seed]
- name: e2e
template: run-testrunner
dependencies: [feed]
- name: report
template: publish-report
dependencies: [e2e]
- name: teardown
# löscht das ReleaseEnvironment-Objekt, sichert vorher Logs und Dump
Der onExit-Handler ist der Teil, der Umgebungen zuverlässig abräumt, auch wenn ein Schritt fehlschlägt oder ein Mensch den Workflow abbricht. Ohne ihn sammeln sich halb fertige Umgebungen an, und niemand weiß mehr, welche noch gebraucht wird.
Die Schritte selbst sind gewöhnliche Container. In unserem Fall waren das ein Node.js-Testrunner, der Ereignisse einspielt und die Ausgaben auf den Zielkanälen prüft, und Spring-Boot- und Kotlin-Dienste, die als Test-APIs Zustände abfragen und Daten vorbereiten. Welche Sprache die Tests haben, ist Argo gleichgültig. Wichtig ist, dass jeder Schritt seine Eingaben als Parameter bekommt und seine Ergebnisse als Artefakte ablegt, damit der Graph wiederholbar bleibt.
Was ein Schritt zurückgeben sollte
- Exit-Code 0 oder ungleich 0: Argo entscheidet daran über Erfolg, Retry oder Abbruch.
- Ein JUnit- oder JSON-Report als Artefakt: GitLab oder das Dashboard zeigen ihn an.
- Logs der Umgebung vor dem Teardown: ohne sie ist ein roter Test nach dem Aufräumen nicht mehr analysierbar.
5. Der Auslöser: GitLab CI oder ein Event
Es gibt zwei übliche Wege, den Workflow zu starten:
Aus der Pipeline. Die GitLab-CI-Stufe release-test legt per kubectl oder Argo-CLI einen Workflow an und wartet auf das Ergebnis. Vorteil: Das Ergebnis steht im Merge-Request. Nachteil: Ein Pipeline-Job blockiert einen Runner für die gesamte Laufzeit. Bei Tests, die eine Stunde laufen, ist das teuer.
Über ein Event. Argo Events oder ein kleiner Webhook-Dienst nehmen das Pipeline-Ereignis entgegen und starten den Workflow entkoppelt. Die Pipeline endet sofort, der Status kommt als Commit-Status zurück. Das skaliert besser, kostet aber einen weiteren Baustein.
Für den Einstieg empfiehlt sich der erste Weg. Sobald mehr als eine Handvoll Workflows pro Tag laufen, lohnt der zweite.
6. Testdaten und Datenlieferanten
Der schwierigste Teil einer Release-Umgebung ist nicht die Infrastruktur, sondern der Zustand, in dem sie starten soll. Zwei Muster haben sich bewährt:
- Ein versionierter Basisdatensatz. Ein Dump oder eine Fixture-Sammlung mit eigener Version, die zusammen mit der Anwendung im Repository lebt. Jede Umgebung startet exakt von diesem Stand. Ändert ein Release das Schema, ändert dasselbe Release den Basisdatensatz.
- Simulatoren statt Live-Anbindung. Auf Plattformen, die von vielen Datenlieferanten gespeist werden, lassen sich die echten Quellen nicht in eine Testumgebung umleiten. Ein Simulator pro Lieferant spielt aufgezeichnete oder generierte Ereignisse ein, in reproduzierbarer Reihenfolge und mit kontrollierten Zeitstempeln. Der Test prüft dann, was aus diesen Ereignissen auf den Ausgabekanälen wird.
Schwierig bleiben Zeitabhängigkeiten. Ein Ereignis „Abfahrt in 5 Minuten” ist eine Stunde später wertlos. Simulatoren sollten deshalb die Zeit relativ zum Start der Umgebung setzen, nicht absolut.
7. Altlasten: wenn der Testrunner selbst das Problem ist
In vielen Teams ist die Testautomatisierung historisch gewachsen: ein Skript, das eine Testerin oder ein Tester vor Jahren begonnen hat und das inzwischen tausend Zeilen und keine Tests für sich selbst hat. Wer so etwas in einen Argo-Workflow einbaut, automatisiert nur die Unzuverlässigkeit.
Unsere Reihenfolge in solchen Fällen:
- Den Runner so lassen, wie er ist, und zuerst in einen Container packen, der reproduzierbar baut.
- Die Konfiguration aus dem Code ziehen: Hostnamen, Zugangsdaten, Datensätze werden Parameter.
- Erst dann refaktorieren, Modul für Modul, mit Unit-Tests für die Prüf-Logik.
- Parallel die unternehmensweiten DevSecOps-Vorgaben einziehen: Abhängigkeits-Scans, signierte Images, keine Secrets im Repository. Ein Testrunner ist Produktionscode und wird wie einer behandelt.
Die Versuchung, alles neu zu schreiben, ist groß. Sie kostet aber Monate, in denen niemand Releases testet. Die schrittweise Variante liefert ab Woche eins Ergebnisse.
8. Kosten und Grenzen
Pro Umgebung entstehen Kosten in CPU, Speicher und, wenn Cloud-Datenbanken beteiligt sind, in Geld. Drei Stellschrauben:
- Kleine Datensätze. Die Testdaten müssen die Fälle abdecken, nicht die Produktionsgröße.
- Kurze TTL. Sechs Stunden reichen für fast jeden Testlauf; wer länger debuggen will, verlängert bewusst.
- Ein Limit an parallelen Umgebungen. Eine ResourceQuota mit Objektzähler (
count/releaseenvironments.platform.example.org) im Namespace, in dem die Umgebungen beantragt werden, oder ein Semaphore in Argo (synchronization) verhindert, dass zwanzig Merge-Requests gleichzeitig zwanzig Umgebungen anlegen.
Wo Release-Umgebungen nicht helfen: bei Tests, die Produktionslast brauchen, und bei Fehlern, die nur mit echten Datenlieferanten auftreten. Dafür bleibt eine Staging-Umgebung mit echter Anbindung sinnvoll, dann aber als letzte Stufe vor dem Release, nicht als Spielwiese für alle.
9. Checkliste
Vor dem Aufbau:
- Liste der Bausteine je Umgebung mit der Entscheidung „dediziert oder geteilt” (Abschnitt 2).
- Basisdatensatz versioniert im Repository.
- Simulatoren für jede externe Datenquelle, mit relativer Zeit.
Crossplane:
- XRD
ReleaseEnvironmentmitrelease,imageTag,ttl,dataset. - Composition erzeugt Namespace, Quota, LimitRange, Datenbank, Topics, Secrets, Ingress.
- Status-Felder für Hostname, Secret-Name, Topic-Präfix.
- TTL-Durchsetzung als CronJob oder Workflow.
Argo Workflows:
- DAG mit
provision → wait-ready → seed → feed → e2e → report. onExit-Teardown sichert Logs und Dump, löscht dann das Umgebungsobjekt.- Reports als Artefakte, Exit-Codes sauber.
- Semaphore für die Zahl paralleler Umgebungen.
Testrunner:
- Baut reproduzierbar als Container.
- Konfiguration vollständig über Parameter.
- Eigene Unit-Tests für die Prüf-Logik.
- Erfüllt die DevSecOps-Vorgaben des Unternehmens (Scans, Signaturen, keine Secrets im Code).
10. Häufige Fragen
Brauche ich Crossplane, oder reicht Helm? Helm rendert Manifeste, hat aber keinen Abgleich-Loop und kennt keine Cloud-Ressourcen außerhalb des Clusters. Für Umgebungen, die nur aus Kubernetes-Objekten bestehen, reicht ein Helm-Chart plus ein Job zum Aufräumen. Sobald Datenbanken, Buckets oder DNS-Einträge außerhalb des Clusters dazukommen, ist Crossplane das passendere Werkzeug.
Argo Workflows oder Tekton? Beide können DAGs ausführen. Argo Workflows hat die ausgereiftere Oberfläche, Exit-Handler und Artefakt-Verwaltung; Tekton ist ein herstellerneutrales Projekt der CD Foundation und die Grundlage von OpenShift Pipelines. Wer Argo CD bereits einsetzt, nimmt in der Regel Argo Workflows.
Wie lange dauert der Aufbau einer Umgebung?
Das hängt an der langsamsten Ressource, meist der Datenbank. Messen Sie es: Zeitstempel beim Anlegen des Objekts und beim Erreichen des Status Ready. Alles über zehn Minuten ist ein Hinweis, die Datenbank als Schema statt als Instanz zu provisionieren.
Können Entwickler Umgebungen auch von Hand anlegen?
Ja, das ist einer der Vorteile: Ein kubectl apply mit einem fünfzeiligen Objekt reicht. Setzen Sie dafür dieselbe TTL und dasselbe Parallelitätslimit wie für die Pipeline.
Wo das hinführt
Wir betreiben eigene Hardware in einem Rechenzentrum in München. Release-Umgebungen, Testorchestrierung und die Plattform darunter sind bei uns derselbe Arbeitsbereich; wie wir das für Plattformen in AWS und GCP anbieten, beschreibt DevOps & SRE für AWS und GCP.
Praxisbeispiel: Release-Tests einer Datenplattform für Fahrgastinformation.
Was Sie in einer solchen Umgebung messen, wenn die Antwortzeiten unter Last steigen: p95-Latenz auf Kubernetes senken.
Englische Fassung: Release environments on Kubernetes: provision with Crossplane, test with Argo Workflows.
Quellen
Alle abgerufen am 20.10.2026.
- Crossplane-Dokumentation: Composite Resource Definitions und Compositions (Englisch).
- Argo Workflows-Dokumentation: DAG templates, exit handlers, synchronization (Englisch).
- Kubernetes-Dokumentation: Resource Quotas und Limit Ranges (Englisch).
Die passende LeistungCloud-native DevOps & SRE