Wer über ein selbst betriebenes Sprachmodell nachdenkt, stößt auf den Begriff Inferenz. Gemeint ist das effiziente Erzeugen von Antworten, sobald ein Modell trainiert ist. Im Alltag entscheidet sich hier, ob ein eigenes Modell wirtschaftlich und schnell genug ist, um eine Cloud-API zu ersetzen.
Auf einen Blick
- Das technische Kernproblem eigener Inferenz ist der Speicher. Der sogenannte KV-Cache wächst mit jeder gleichzeitigen Anfrage.
- Moderne Inferenz-Software wie vLLM verwaltet diesen Speicher ähnlich wie ein Betriebssystem den Arbeitsspeicher und erreicht damit deutlich höheren Durchsatz als einfache Ansätze.
- Eine Schnittstelle nach dem Muster gängiger Cloud-APIs macht den Umstieg von einem Cloud-Dienst auf ein eigenes Modell zu einer Frage der Konfiguration.
Warum Inferenz der eigentliche Engpass ist
Das Kernproblem bei eigener Modell-Inferenz ist der Speicher. Während der Generierung hält ein Modell einen KV-Cache vor, die Attention-Keys und -Values aller bereits verarbeiteten Tokens. Dieser Cache wächst mit der Länge der Sequenz und mit der Zahl gleichzeitiger Anfragen und belegt den größten Teil des Grafikkartenspeichers. Wird er einfach verwaltet, geht viel Speicher durch Fragmentierung und Überreservierung verloren. Das erzwingt kleine Batches und lässt teure Hardware im Leerlauf.
PagedAttention verwaltet den KV-Cache wie virtuellen Speicher
Inferenz-Software wie vLLM löst das mit PagedAttention. Sie zerlegt den KV-Cache in Blöcke fester Größe und führt sie über eine Tabelle, wie das Paging eines Betriebssystems. Ein großer zusammenhängender Speicherblock je Anfrage entfällt. Das beseitigt weitgehend die interne Fragmentierung und erlaubt größere Batches auf derselben Hardware. Auch das Teilen funktioniert: Haben viele Anfragen denselben Systemtext, werden die gemeinsamen Seiten nur einmal gespeichert. In der Praxis heißt das mehr bediente Anfragen je Grafikkarte.
Continuous Batching und die kompatible Schnittstelle
Die zweite Säule ist Continuous Batching. Geplant wird auf Ebene einzelner Dekodierungsschritte. Statisches Batching wartet, bis ein Batch voll ist, rechnet ihn gemeinsam zu Ende und lässt erst dann neue Anfragen zu. Eine einzige lange Generierung hält dann alles dahinter auf. Moderne Software plant in jedem Schritt neu: Fertige Sequenzen verlassen den Batch sofort, wartende Anfragen rücken im nächsten Durchgang nach. So bleibt die Hardware auch bei stark schwankenden Anfragelängen ausgelastet.
Um die Inferenz-Engine herum bietet ein System wie vLLM meist eine cloudkompatible Schnittstelle. Sie stellt dieselben Endpunkte bereit, die auch kommerzielle Cloud-APIs verwenden. Bestehende Anwendungen laufen dann gegen ein selbst gehostetes Modell, oft genügt eine geänderte Basisadresse. Der Umzug von einer Cloud-API wird dadurch zur Konfigurationsfrage.
Skalierung mit mehreren Grafikkarten und kleineren Modellen
Eine einzelne Grafikkarte hält die größten Modelle nicht. Deshalb unterstützen moderne Inferenz-Systeme Tensor-Parallelismus: Die Gewichte jeder Modellschicht werden auf mehrere Karten verteilt, die im Gleichtakt rechnen. Zusätzlich senkt Quantisierung den Speicherbedarf, indem Modellgewichte und teils der KV-Cache verkleinert werden. Der Preis ist ein kontrollierter, messbarer Genauigkeitsverlust, den Sie an Ihren eigenen Aufgaben prüfen sollten. Das Angebot offener Modelle reicht von kleinen Modellen bis in die Größenordnung mehrerer hundert Milliarden Parameter, bei Mixture-of-Experts-Modellen ist je Anfrage nur ein Teil davon aktiv. Sie lassen sich je nach Größe mit entsprechender Hardware vollständig auf selbst kontrollierter Infrastruktur betreiben.
Eigene Inferenz und leichtgewichtige Werkzeuge
Für Experimente einzelner Personen eignen sich leichtgewichtige Werkzeuge, die leicht zu installieren sind und mit bescheidener Hardware auskommen. Ein gemeinsam genutzter, produktiver Dienst mit vielen gleichzeitigen Nutzern profitiert von einer Engine, die auf Durchsatz ausgelegt ist. Faustregel: Ein Entwicklungsarbeitsplatz braucht andere Werkzeuge als ein Produktionsdienst.
Durchsatz und Latenz ziehen dabei in verschiedene Richtungen, und die Balance hängt von Grafikkarte, Modellgröße, Kontextlänge und Zahl gleichzeitiger Nutzer ab. Große Batches erhöhen die Tokens pro Sekunde über alle Nutzer und können die Zeit bis zum ersten Token einer einzelnen Anfrage verlängern. Mit kleinen Batches ist es umgekehrt. Eine Benchmark-Zahl, die sich ungeprüft übertragen ließe, gibt es nicht. Dimensionieren Sie die Kapazität an Ihrer eigenen, repräsentativen Last.
Was das für Datenresidenz und Kontrolle bedeutet
Offene Modelle mit selbst kontrollierten Gewichten können vollständig auf eigener Infrastruktur laufen. Bei reinem Selbstbetrieb ohne externe Dienste verlassen Prompts, Dokumente und erzeugte Texte die eigene Umgebung nicht. Datenresidenz und Kontrolle über den Datenfluss ergeben sich aus dem Aufbau und müssen nicht vertraglich zugesagt werden. Das ist eine gute technische Grundlage für Organisationen unter der DSGVO oder mit branchenspezifischer Vertraulichkeit. Eine rechtliche Bewertung des Gesamtsystems ersetzt sie nicht. Die Kriterien dafür stehen im Artikel KI und DSGVO im Unternehmen.
Wann sich der eigene Betrieb gegenüber einer Cloud-API rechnet, behandelt der Artikel Eigenes Sprachmodell oder Cloud-API. Wie die Modellschicht in unserer Plattform aufgebaut ist, zeigt die Seite zu Beyonetix OS.