Anleitung
LLM-Inferenz on-premises: ein Inferenz-Stack mit vLLM und LiteLLM auf Kubernetes
Ein eigener Inferenz-Stack besteht aus vier Schichten: GPU-Servern, einem Kubernetes-Cluster mit GPU-Knoten, vLLM als Inferenz-Engine, die die Modelle bedient, und LiteLLM als Proxy, über den alle Anwendungen im Unternehmen mit einer gemeinsamen API, eigenen Schlüsseln und Budgets zugreifen. Dieser Artikel beschreibt die Schichten, die Entscheidungen bei Hardware und Modellwahl und wie Sie den GPU-Speicher unter Kontrolle halten.
Er richtet sich an Unternehmen, die Sprachmodelle nutzen wollen, deren Eingaben das Haus aber nicht verlassen dürfen.
1. Wann ein eigener Stack sinnvoll ist
Die meisten Unternehmen beginnen mit einer externen API. Das ist richtig, solange die Daten dafür geeignet sind. Es wird falsch, sobald Verträge, Kundendaten, Quellcode oder interne Dokumente in Prompts landen sollen und die Rechtsabteilung oder ein Kunde das untersagt. Dann gibt es zwei Wege: ein europäischer Anbieter mit passendem Vertrag, oder eigene Hardware.
Der eigene Stack lohnt sich, wenn mindestens eines zutrifft: Die Daten dürfen das Haus nicht verlassen; die Nutzung ist hoch und planbar, sodass eine Hardware-Investition gegen laufende API-Kosten steht; oder Sie brauchen Modelle und Einstellungen, die extern nicht angeboten werden. Für einen Kunden haben wir einen solchen Stack beschafft, aufgebaut und in dessen Rechenzentrum in Betrieb genommen: drei 2U-Server mit NVIDIA-A100-GPUs, Kubernetes mit GPU-Knoten, vLLM und LiteLLM als unternehmensweiter Proxy. Was dabei zu entscheiden war, steht in den folgenden Abschnitten.
2. Die vier Schichten
| Schicht | Aufgabe | Werkzeug |
|---|---|---|
| Hardware | GPU-Speicher und Rechenleistung | Server mit Rechenzentrums-GPUs (etwa NVIDIA A100 oder H100), ausreichend Arbeitsspeicher und NVMe für Modellgewichte |
| Orchestrierung | GPUs als Ressource vergeben, Dienste neu starten, Updates ausrollen | Kubernetes mit dem NVIDIA GPU Operator |
| Inferenz-Engine | Modell laden, Anfragen bündeln, Tokens erzeugen | vLLM, ein Dienst pro Modell |
| Zugriffsschicht | Eine API für alle Anwendungen, Schlüssel, Budgets, Protokolle, Fallbacks | LiteLLM-Proxy |
Jede Schicht lässt sich austauschen, ohne die anderen anzufassen. Das ist der Grund, die Zugriffsschicht nicht wegzulassen: Anwendungen sprechen mit LiteLLM, nicht mit vLLM. Wird ein Modell getauscht, ändert sich für die Anwendung nichts.
3. Hardware: GPU-Speicher ist die Währung
Die Frage „Welche GPU?” ist in Wahrheit die Frage „Wie viel GPU-Speicher?“. Ein Modell muss vollständig in den Speicher der GPU passen, plus den Platz für den KV-Cache, der mit jeder gleichzeitigen Anfrage und jedem Token Kontext wächst.
Faustregeln für die Planung, die Sie mit Ihren eigenen Modellen nachmessen sollten:
- Gewichte: Parameterzahl mal Bytes pro Parameter. Ein Modell mit 7 Milliarden Parametern braucht in 16-Bit-Genauigkeit rund 14 GB, in 4-Bit-Quantisierung rund 3,5 GB.
- KV-Cache: wächst linear mit Kontextlänge und Zahl gleichzeitiger Anfragen. Er ist der Grund, warum eine GPU, auf die das Modell „gerade so” passt, in Produktion sofort voll ist.
- Reserve: für den CUDA-Kontext und für andere Prozesse auf derselben GPU.
Rechenzentrums-GPUs der vorherigen Generation sind für Inferenz oft die wirtschaftlichere Wahl als die neueste: Der Speicher ist derselbe Engpass, der Preis pro GB deutlich niedriger. Wichtiger als die Generation ist, dass Server, Stromanschluss, Kühlung und Rack-Platz zur Karte passen. Wer die Hardware selbst beschafft, klärt vor der Bestellung: Formfaktor (2U mit Platz für die Karten), Netzteile, Lüfterführung, Arbeitsspeicher mindestens so groß wie der GPU-Speicher, NVMe für die Gewichte.
4. vLLM: die Engine und ihre vier wichtigsten Stellschrauben
vLLM bedient ein Modell über eine OpenAI-kompatible HTTP-Schnittstelle und bündelt Anfragen so, dass die GPU ausgelastet bleibt. Zwei Eigenschaften machen es für den Betrieb interessant: PagedAttention verwaltet den KV-Cache in Seiten, ähnlich dem virtuellen Speicher eines Betriebssystems, und vermeidet so Verschnitt; Continuous Batching nimmt neue Anfragen in einen laufenden Batch auf, statt auf dessen Ende zu warten.
Aus unserer Praxis mit eigenen GPU-Servern sind das die vier Stellschrauben, die über Stabilität und Durchsatz entscheiden:
- Modellwahl. Nicht jede Aufgabe braucht ein Modell mit 70 Milliarden Parametern. Klassifikation, Extraktion und einfache RAG-Antworten laufen mit kleineren Modellen schneller und mit einem Bruchteil des Speichers.
- Quantisierung. 4-Bit-Gewichte statt 16-Bit sparen rund drei Viertel des Speichers für die Gewichte, meist bei kaum messbarem Qualitätsverlust. Messen Sie den Verlust mit Ihren eigenen Aufgaben, nicht mit Benchmarks aus dem Netz.
gpu_memory_utilization. Standardmäßig reserviert vLLM einen Großteil des GPU-Speichers. Wer mehrere Dienste auf einer Karte betreibt, senkt den Wert und lässt Platz.max_model_len. Die maximale Kontextlänge bestimmt, wie viel KV-Cache vLLM je Anfrage vorhält. Ein realistischer Wert für Ihre Anwendung statt des Modell-Maximums verhindert, dass Speicher für Kontext reserviert wird, den niemand nutzt.
Ein Deployment pro Modell, mit nvidia.com/gpu als Ressource:
apiVersion: apps/v1
kind: Deployment
metadata:
name: vllm-chat
spec:
replicas: 1
selector:
matchLabels:
app: vllm-chat
template:
metadata:
labels:
app: vllm-chat
spec:
containers:
- name: vllm
image: vllm/vllm-openai # Tag per Release festlegen
args:
- --model=/models/chat-model
- --quantization=awq
- --gpu-memory-utilization=0.85
- --max-model-len=16384
- --served-model-name=chat
resources:
limits:
nvidia.com/gpu: 1
volumeMounts:
- name: models
mountPath: /models
volumes:
- name: models
persistentVolumeClaim:
claimName: model-weights
Die Modellgewichte liegen auf einem Volume, nicht im Image: Images mit zehn Gigabyte Gewichten machen jeden Rollout langsam und jede Registry voll.
5. LiteLLM: der Proxy, den das Unternehmen anspricht
LiteLLM stellt eine OpenAI-kompatible API vor beliebig viele Backends. Für ein Unternehmen ist das die Schicht, die aus „ein Server mit einem Modell” einen Dienst macht:
- Virtuelle Schlüssel je Team oder Anwendung, mit Budget und Ratenlimit. Niemand bekommt den Zugang zur Engine direkt.
- Modell-Aliase: Die Anwendung fragt nach
chat, der Proxy entscheidet, ob das heute ein lokales Modell oder, mit Freigabe, ein externer Anbieter ist. Modelltausch ohne Code-Änderung. - Fallbacks und Routing: Ist das lokale Modell überlastet, kann der Proxy an eine zweite Instanz oder, für unkritische Daten, an einen externen Anbieter weiterreichen. Ob das erlaubt ist, entscheidet die Konfiguration je Schlüssel, nicht die Anwendung.
- Protokollierung und Kosten: Wer hat wie viele Tokens verbraucht. Das ist die Grundlage für interne Verrechnung und für die Frage, ob die Hardware ausgelastet ist.
Ein Ausschnitt der Proxy-Konfiguration:
model_list:
- model_name: chat
litellm_params:
model: openai/chat
api_base: http://vllm-chat.inference.svc:8000/v1
api_key: 'none'
- model_name: extract
litellm_params:
model: openai/extract
api_base: http://vllm-extract.inference.svc:8000/v1
api_key: 'none'
general_settings:
master_key: os.environ/LITELLM_MASTER_KEY # aus einem Kubernetes-Secret
litellm_settings:
drop_params: true
Der Proxy braucht eine Datenbank für Schlüssel und Verbrauch (Postgres) und gehört hinter denselben Ingress und dieselbe Authentifizierung wie andere interne Dienste.
6. Betrieb: was nach dem ersten Start kommt
Treiber-Updates. Der NVIDIA GPU Operator installiert Treiber und Container-Toolkit auf den GPU-Knoten. Automatische Betriebssystem-Updates auf diesen Knoten sollten den Kernel nicht ohne Abstimmung wechseln; ein neuer Kernel ohne passendes Treibermodul bedeutet eine GPU, die der Cluster nicht mehr sieht. Planen Sie Knoten-Updates als Wartungsfenster mit Drain und Test.
Überwachung. Drei Metriken reichen für den Anfang: GPU-Speicherauslastung, Anfragen in der Warteschlange von vLLM und Tokens pro Sekunde. Steigt die Warteschlange bei konstantem Durchsatz, ist die Karte am Limit.
Modellwechsel. Ein neues Modell ist ein neues Deployment neben dem alten; der Alias im Proxy wird umgestellt, wenn die Tests durch sind. Rollback ist das Zurückstellen des Alias.
Sicherheit. Die Engine ist nie von außen erreichbar, nur der Proxy. Die Gewichte stammen aus einer geprüften Quelle und werden mit Prüfsumme abgelegt. Prompts und Antworten werden nur so lange protokolliert, wie es der Zweck verlangt; das gehört in die Datenschutz-Dokumentation des Dienstes.
7. Was es kostet, und wie Sie es ausrechnen
Nennen Sie keine Zahl, bevor Sie gemessen haben. Die Rechnung ist in beiden Richtungen einfach:
- Extern: monatliche Tokens mal Preis je Token, aus den Rechnungen der letzten Monate oder einer Pilotphase.
- Eigen: Hardware über drei bis fünf Jahre abgeschrieben, plus Strom (Leistungsaufnahme der Server mal Stunden mal Preis), plus Rack- und Netzkosten, plus die Betriebsstunden Ihres Teams oder eines Dienstleisters.
Die Kurve kippt bei konstant hoher Nutzung zugunsten eigener Hardware. Bei sporadischer Nutzung bleibt die externe API günstiger, und das Argument für den eigenen Stack ist dann allein der Datenschutz, was ein vollkommen ausreichendes Argument sein kann.
8. Checkliste für die Planung
Anforderungen:
- Welche Daten gehen in Prompts? Dürfen sie das Haus verlassen?
- Welche Aufgaben: Chat, Extraktion, Klassifikation, Code? Je Aufgabe ein Modellkandidat.
- Erwartete gleichzeitige Nutzer und typische Kontextlänge.
Hardware:
- GPU-Speicherbedarf je Modell (Gewichte plus KV-Cache plus Reserve) berechnet.
- Server-Formfaktor, Netzteile, Kühlung, Rack-Platz, Stromanschluss geklärt.
- NVMe für Gewichte, Arbeitsspeicher mindestens in GPU-Speicher-Größe.
Plattform:
- Kubernetes mit GPU Operator; GPU-Knoten vom automatischen Kernel-Update ausgenommen.
- Ein vLLM-Deployment je Modell, Gewichte auf Volumes.
gpu_memory_utilizationundmax_model_lenje Dienst bewusst gesetzt.
Zugriff:
- LiteLLM-Proxy mit virtuellen Schlüsseln, Budgets, Aliasen; Datenbank für Verbrauch.
- Engine nicht von außen erreichbar; Proxy hinter Ingress und Authentifizierung.
- Protokollierungsregeln für Prompts und Antworten dokumentiert.
Betrieb:
- Metriken: GPU-Speicher, Warteschlange, Tokens pro Sekunde.
- Verfahren für Modellwechsel und Rollback über den Alias.
- Kostenrechnung extern vs. eigen mit gemessenen Tokens.
9. Häufige Fragen
Reicht eine Consumer-GPU für den Anfang? Für Experimente ja. Für den Betrieb fehlen ihr der Speicher, der ECC-Schutz und die Zulassung für den Rechenzentrumsbetrieb. Wer Anwendungen darauf aufbaut, migriert später ohnehin.
Ollama statt vLLM? Ollama ist für den Einzelplatz gemacht und einfach zu starten. vLLM ist für viele gleichzeitige Anfragen gebaut und nutzt die GPU durch Batching deutlich besser aus. Sobald mehrere Anwendungen oder Nutzer gleichzeitig anfragen, spricht in der Regel mehr für vLLM.
Kann ich beides: lokal und extern? Ja, genau dafür ist der Proxy da. Je Schlüssel legen Sie fest, welche Modelle erlaubt sind. Unkritische Anwendungen dürfen extern, kritische nur lokal.
Wie groß muss das Team sein? Nach dem Aufbau sind es Betriebsaufgaben wie bei jedem anderen Kubernetes-Dienst: Updates, Überwachung, gelegentlich ein Modellwechsel. Wer bereits Kubernetes betreibt, braucht keine neue Rolle dafür.
Wo das hinführt
Wir betreiben eigene Hardware in einem Rechenzentrum in München. Dort läuft auch unsere eigene Inferenz. Wie wir GPU-Kapazität bereitstellen oder einen Stack wie diesen in Ihrem Rechenzentrum aufbauen, beschreibt GPU-Server & Hosting in Deutschland.
Praxisbeispiel: LLM-Inferenz on-premises: Hardware und Stack für ein Rechenzentrum.
Englische Fassung: On-premises LLM inference with vLLM and LiteLLM.
Quellen
Alle abgerufen am 20.10.2026.
- vLLM-Dokumentation: Engine arguments, quantization, PagedAttention (Englisch).
- LiteLLM-Dokumentation: Proxy server, virtual keys, budgets, fallbacks (Englisch).
- NVIDIA: GPU Operator documentation (Englisch).
Die passende LeistungGPU-Server & Hosting in Deutschland