Unternehmen mit Rechenzentrum vor Ort
Referenz: LLM-Inferenz on-premises, geliefert mit der Hardware
Für ein Unternehmen haben wir einen Inferenz-Stack für dessen Rechenzentrum vor Ort beschafft, aufgebaut und in Betrieb genommen: drei 2U-Server mit NVIDIA-A100-GPUs, Kubernetes mit GPU-Knoten, vLLM für die Inferenz und LiteLLM als gemeinsamer Zugang für die Anwendungen des Unternehmens. Dazu die Hochverfügbarkeit des Netzwerks darunter, mit getesteten Failovern für Firewalls und Switches.
- Rolle von Frybad
- Beschaffung, Lösungsarchitektur, Aufbau, Lieferung und Inbetriebnahme; danach Hochverfügbarkeit für das Netzwerk
- Hardware
- 3 × 2U-Server (19"), Arbeitsspeicher und Datenträger, NVIDIA A100 GPUs
- Stack
- Kubernetes mit GPU-Nodes, vLLM, LiteLLM; Firewalls und Switches im Failover-Verbund, OTP-basierte 2FA, Monitoring