Logistik-SaaS für Werks- und Transportlogistik

Logistik-SaaS: 50.000 neue Nutzer, p95-Antwortzeit um rund 80 % gesenkt

Branche
Logistik-Software (SaaS für Werks- und Transportlogistik)
Rolle von Frybad
Site Reliability Engineering; Plattform-Verantwortung für Edge-Gateway, Datenbank, Eventing und Queueing; Coaching der SRE-Teams
Stack
Kubernetes auf AWS EKS, Horizontal Pod Autoscaler, Edge-Gateway, relationale Datenbank, Eventing und Queueing, ELK, Grafana

Ausgangslage

Die Plattform bildet Werks- und Transportlogistik als SaaS ab: Zeitfenster, Sendungsverfolgung und Yard-Prozesse für Verlader, Händler und Logistikdienstleister. Dann kam ein Großkunde dazu, eine Drogeriemarktkette mit rund 50.000 Nutzern, und mit ihr weitere kleinere Kunden und Logistikdienstleister, die über die Plattform zusammenarbeiten. Die Nutzerzahl stieg von rund 10.000 auf rund 60.000.

Unter der neuen Last traten Timeouts auf. Die Ursachen lagen an mehreren Stellen zugleich: Die Ressourcenzuteilung auf Kubernetes (EKS) und das horizontale Autoscaling waren auf das alte Lastprofil ausgelegt, in der Datenbank fehlten Indizes, und das Monitoring zeigte zwar Systemmetriken, aber nicht, welche Fehler die Nutzer an der Kante tatsächlich sahen.

Vorgehen

  • Fehler sichtbar machen, die Kunden wirklich treffen. Wir haben die Logs des Edge-Gateways automatisiert ausgewertet: welche Anfragen in Timeouts oder Fehler liefen, auf welchen Routen und für welche Kunden. Daraus entstanden Dashboards in ELK und Grafana, die das Team im Tagesgeschäft nutzt.
  • Ressourcen und Autoscaling neu zuschneiden. Requests, Limits und die Schwellen des Horizontal Pod Autoscalers wurden auf das gemessene Lastprofil eingestellt, statt auf Annahmen aus der Zeit vor dem Onboarding.
  • Datenbank. Fehlende Indizes wurden identifiziert und ergänzt; die Datenbank-I/O wurde optimiert, und am Gateway wurde eine Ratenbegrenzung eingeführt, damit einzelne Mandanten die Plattform nicht für alle verlangsamen.
  • Betrieb als Team. Wir haben die Plattform-Dailies moderiert, eine Release-Orchestrierung aufgebaut und die SRE-Teams gecoacht. Aus dem SLA wurde ein Fehlerbudget abgeleitet, an dem Releases und Priorisierung gemessen werden.

Was Rate-Limiting am Gateway bewirkt: Es begrenzt die Anfragen pro Mandant oder Schlüssel, bevor sie die Anwendung erreichen. Ein Mandant, der ungewöhnlich viele Anfragen schickt, bekommt dann gezielt Antwort 429, statt dass alle anderen Mandanten langsamer werden.

Was sich daraus für Ihr Projekt ergibt

Wenn Ihre Plattform vor einem Onboarding steht oder unter Last schon Timeouts zeigt, ist das der Zuschnitt von Cloud-native DevOps & SRE. Läuft die Plattform auf eigener Hardware oder soll sie dorthin, ist Kubernetes-Plattformen bauen & betreiben der Einstieg.

Ergebnis

Beispiel aus einem Kundenprojekt.

Die p95-Antwortzeit sank um rund 80 %, verglichen über jeweils einen Monat vor und nach den Maßnahmen.

Die Fehlerrate wurde auf das im SLA definierte Fehlerbudget gebracht und darin gehalten.

Das Onboarding lief ohne Ausfallzeit; die Plattform trägt das Fünffache des früheren Verkehrs.

Es gibt seitdem ein eigenes Platform-SRE-Team, das Edge-Gateway, Datenbank, Eventing und Queueing verantwortet.

Was wir heute anders machen würden

Lasttests vor dem Onboarding, nicht danach. Das Lastprofil eines Großkunden lässt sich vorab simulieren. Timeouts im Betrieb sind der teuerste Weg, Ressourcengrenzen zu finden.

Das Fehlerbudget vor dem ersten Großkunden definieren. Das SLA gab es; das daraus abgeleitete Budget als Steuerungsgröße für Releases kam erst mit uns.

Index-Review als festen Schritt im Release-Prozess. Fehlende Indizes fallen unter Last auf, nicht im Review. Ein Blick auf die langsamsten Abfragen vor jedem Release ist billiger.

Ähnliche Situation?

Schreiben Sie uns, welche Last kommt und was heute schon knirscht. Wir sagen Ihnen, wo wir zuerst messen würden.