Warum eigenes Hosting für Modelle von 7B bis 70B reicht
Für die meisten Anwendungsfälle im Mittelstand brauchen Sie keine US-Cloud und kein 400-Milliarden-Parameter-Modell. Offene Gewichte wie Llama, Mistral, Qwen oder das deutsche Teuken im Bereich von 7B bis 70B Parametern lösen Extraktion, Klassifikation, Zusammenfassung und citation-grounded RAG zuverlässig. Wir betreiben diese Modelle mit vLLM auf eigenen GPU-Servern in Deutschland. PagedAttention verwaltet den KV-Cache speichereffizient, Continuous Batching hält die GPUs ausgelastet, und Tensor-Parallelismus verteilt große Modelle über mehrere Karten. So erreichen Sie Antwortzeiten und Durchsatz, die für den produktiven Betrieb ausreichen, ohne pro Token zu zahlen.
Vor die Modelle setzen wir ein LiteLLM-Gateway als einheitlichen Zugangspunkt. Es vereinheitlicht die API, trennt Mandanten, erzwingt Rate-Limits und protokolliert jeden Aufruf für Ihr Audit. Sie buchen entweder eine dedizierte Instanz oder einen abgesicherten Mandanten mit logischer Trennung. In beiden Fällen bleiben Ihre Daten in Deutschland und werden nicht zum Training Dritter verwendet.
Der zweite Grund für eigenes Hosting sind die Kosten. Token-basierte Abrechnung wird bei wachsender Nutzung unberechenbar. Eigene Kapazität bedeutet planbare Fixkosten: Sie zahlen für GPU-Stunden und Speicher, nicht für jede Anfrage. Bei stabiler Auslastung liegt die Total Cost of Ownership unter der eines kommerziellen API-Abos.
- Datenresidenz: Speicherung und Inferenz ausschließlich auf Servern in Deutschland, keine Datenabflüsse in US-Clouds.
- Hardware: verschiedene GPU-Systeme, dimensioniert nach Modellgröße und Lastprofil.
- Betrieb: SLA, Monitoring von Latenz und Auslastung, Härtung nach BSI IT-Grundschutz als Rahmen.
- Regulierte Branchen: Architektur ausgelegt für DSGVO, EU AI Act und ISO 27001 als Vorgaben, die wir für Sie umsetzen.
- Skalierung: horizontale Erweiterung um weitere GPU-Knoten ohne Wechsel des Anbieters.