Unternehmen mit Rechenzentrum vor Ort

LLM-Inferenz im Rechenzentrum vor Ort: Hardware, Architektur und Betrieb aus einer Hand

Rolle von Frybad
Beschaffung, Lösungsarchitektur, Aufbau, Lieferung und Inbetriebnahme; danach Hochverfügbarkeit für das Netzwerk
Hardware
3 × 2U-Server (19"), Arbeitsspeicher und Datenträger, NVIDIA A100 GPUs
Stack
Kubernetes mit GPU-Nodes, vLLM, LiteLLM; Firewalls und Switches im Failover-Verbund, OTP-basierte 2FA, Monitoring

Ausgangslage

Der Kunde wollte Sprachmodelle im Rechenzentrum vor Ort nutzen: für Anwendungen im Haus, über eine Schnittstelle, die wie die bekannten LLM-APIs funktioniert, aber auf eigener Hardware läuft. Es gab kein GPU-System und keine Plattform dafür. Gesucht war ein Partner, der Beschaffung, Architektur, Aufbau und Inbetriebnahme zusammen übernimmt.

Nach der Inbetriebnahme kam ein zweiter Auftrag: Das Netzwerk, an dem die neue Plattform hängt, hatte keine Redundanz. Fiel die Firewall oder ein Switch aus, stand alles.

Vorgehen

Teil 1: Inferenz-Stack

  • Beschaffung. Drei 2U-Server im 19”-Format, dazu Arbeitsspeicher, Datenträger und NVIDIA A100 GPUs. Wir haben die Konfiguration auf die geplanten Modelle und den verfügbaren Platz im Rack des Kunden zugeschnitten.
  • Plattform. Ein Kubernetes-Cluster mit GPU-Nodes. Die GPUs werden als Ressource im Cluster geplant, so dass Modelle wie jede andere Arbeitslast ausgerollt, skaliert und aktualisiert werden.
  • Inferenz. vLLM bedient die Modelle und stellt eine OpenAI-kompatible API bereit. Den GPU-Speicher verwaltet es über PagedAttention.
  • Firmenweiter Proxy. LiteLLM steht als zentraler Zugang vor den Modellen: ein Endpunkt für alle Anwendungen, Schlüssel pro Team, Weiterleitung an das passende Modell, Verbrauch pro Schlüssel sichtbar. Anwendungen sprechen den Proxy an, nicht einzelne Server.
  • Lieferung und Inbetriebnahme. Die Hardware wurde in das Rechenzentrum des Kunden gebracht, eingebaut, in Betrieb genommen und mit der Plattform übergeben.

Teil 2: Hochverfügbarkeit für das Netzwerk

  • Beschaffung. Firewalls mit anteilig laufenden Lizenzen (pro rata zur bestehenden Laufzeit), Switches, und die Lizenzen für die Zwei-Faktor-Anmeldung (OTP) an den Firewalls.
  • Konfiguration. Die bestehende Switch-Konfiguration wurde geprüft und auf die neuen Geräte migriert.
  • Failover-Tests. Für Firewalls und Switches wurde der Ausfall je eines Geräts geprobt und das Umschalten gemessen.
  • Absicherung und Monitoring. Die Firewalls sind mit 2FA abgesichert; Firewalls und Switches sind im Monitoring.

Was sich daraus für Ihr Projekt ergibt

Wenn Sie Sprachmodelle oder andere GPU-Arbeitslasten betreiben wollen, auf Hardware in Ihrem Rechenzentrum oder auf unserer Hardware in München, ist GPU-Server & Hosting in Deutschland der Einstieg. Die Plattform darunter beschreibt Kubernetes-Plattformen bauen & betreiben.

Ergebnis

Beispiel aus einem Kundenprojekt: erst die Inbetriebnahme des Inferenz-Stacks, danach die Failover-Tests der Netzwerk-Hochverfügbarkeit.

Der Inferenz-Stack läuft im Rechenzentrum des Kunden: Kubernetes mit GPU-Nodes, vLLM, LiteLLM als firmenweiter Proxy. Hardware, Architektur und Lösung kamen aus einer Hand.

Der Netzwerk-Stack ist redundant: Firewalls und Switches im Verbund, Failover für beide getestet, Firewall-Zugang mit 2FA, beides im Monitoring.

Nicht enthalten: Angaben zu Modellen, Nutzerzahlen oder Durchsatz.

Was wir heute anders machen würden

Das Netzwerk zuerst. Die Redundanz für Firewalls und Switches kam als zweiter Auftrag. Heute würden wir sie vor der Inbetriebnahme der Plattform einplanen: Ein Inferenz-Stack ist nur so verfügbar wie das Netz, an dem er hängt.

Failover-Tests als Runbook mit Rückweg. Jeder Test gehört in ein Wartungsfenster mit dokumentierten Schritten und einem beschriebenen Weg zurück, damit er wiederholbar ist, auch ohne uns.

Lizenzlaufzeiten angleichen. Anteilige Lizenzen sind beim Kauf günstiger, erzeugen aber mehrere Verlängerungstermine. Ein gemeinsamer Termin ist im Betrieb einfacher.

Ähnliche Situation?

Schreiben Sie uns, welche Modelle und welche Daten im Haus bleiben sollen. Wir sagen Ihnen, welche Hardware und welche Plattform das braucht.