Zum Inhalt springen

Plattform und Automatisierung · 5 Min. Lesezeit

Eigene Sprachmodelle betreiben: was Inferenz auf eigener Infrastruktur bedeutet

Trainiert wird ein Modell einmal, beantwortet wird bei jedem Aufruf. Wer diesen Schritt selbst betreibt, entscheidet über Kosten, Tempo und Kontrolle zugleich.

Wer über ein selbst betriebenes Sprachmodell nachdenkt, stößt auf den Begriff Inferenz. Gemeint ist das effiziente Erzeugen von Antworten, sobald ein Modell trainiert ist. Im Alltag entscheidet sich hier, ob ein eigenes Modell wirtschaftlich und schnell genug ist, um eine Cloud-API zu ersetzen.

Auf einen Blick

  • Das technische Kernproblem eigener Inferenz ist der Speicher. Der sogenannte KV-Cache wächst mit jeder gleichzeitigen Anfrage.
  • Moderne Inferenz-Software wie vLLM verwaltet diesen Speicher ähnlich wie ein Betriebssystem den Arbeitsspeicher und erreicht damit deutlich höheren Durchsatz als einfache Ansätze.
  • Eine Schnittstelle nach dem Muster gängiger Cloud-APIs macht den Umstieg von einem Cloud-Dienst auf ein eigenes Modell zu einer Frage der Konfiguration.

Warum Inferenz der eigentliche Engpass ist

Das Kernproblem bei eigener Modell-Inferenz ist der Speicher. Während der Generierung hält ein Modell einen KV-Cache vor, die Attention-Keys und -Values aller bereits verarbeiteten Tokens. Dieser Cache wächst mit der Länge der Sequenz und mit der Zahl gleichzeitiger Anfragen und belegt den größten Teil des Grafikkartenspeichers. Wird er einfach verwaltet, geht viel Speicher durch Fragmentierung und Überreservierung verloren. Das erzwingt kleine Batches und lässt teure Hardware im Leerlauf.

PagedAttention verwaltet den KV-Cache wie virtuellen Speicher

Inferenz-Software wie vLLM löst das mit PagedAttention. Sie zerlegt den KV-Cache in Blöcke fester Größe und führt sie über eine Tabelle, wie das Paging eines Betriebssystems. Ein großer zusammenhängender Speicherblock je Anfrage entfällt. Das beseitigt weitgehend die interne Fragmentierung und erlaubt größere Batches auf derselben Hardware. Auch das Teilen funktioniert: Haben viele Anfragen denselben Systemtext, werden die gemeinsamen Seiten nur einmal gespeichert. In der Praxis heißt das mehr bediente Anfragen je Grafikkarte.

Continuous Batching und die kompatible Schnittstelle

Die zweite Säule ist Continuous Batching. Geplant wird auf Ebene einzelner Dekodierungsschritte. Statisches Batching wartet, bis ein Batch voll ist, rechnet ihn gemeinsam zu Ende und lässt erst dann neue Anfragen zu. Eine einzige lange Generierung hält dann alles dahinter auf. Moderne Software plant in jedem Schritt neu: Fertige Sequenzen verlassen den Batch sofort, wartende Anfragen rücken im nächsten Durchgang nach. So bleibt die Hardware auch bei stark schwankenden Anfragelängen ausgelastet.

Um die Inferenz-Engine herum bietet ein System wie vLLM meist eine cloudkompatible Schnittstelle. Sie stellt dieselben Endpunkte bereit, die auch kommerzielle Cloud-APIs verwenden. Bestehende Anwendungen laufen dann gegen ein selbst gehostetes Modell, oft genügt eine geänderte Basisadresse. Der Umzug von einer Cloud-API wird dadurch zur Konfigurationsfrage.

Skalierung mit mehreren Grafikkarten und kleineren Modellen

Eine einzelne Grafikkarte hält die größten Modelle nicht. Deshalb unterstützen moderne Inferenz-Systeme Tensor-Parallelismus: Die Gewichte jeder Modellschicht werden auf mehrere Karten verteilt, die im Gleichtakt rechnen. Zusätzlich senkt Quantisierung den Speicherbedarf, indem Modellgewichte und teils der KV-Cache verkleinert werden. Der Preis ist ein kontrollierter, messbarer Genauigkeitsverlust, den Sie an Ihren eigenen Aufgaben prüfen sollten. Das Angebot offener Modelle reicht von kleinen Modellen bis in die Größenordnung mehrerer hundert Milliarden Parameter, bei Mixture-of-Experts-Modellen ist je Anfrage nur ein Teil davon aktiv. Sie lassen sich je nach Größe mit entsprechender Hardware vollständig auf selbst kontrollierter Infrastruktur betreiben.

Eigene Inferenz und leichtgewichtige Werkzeuge

Für Experimente einzelner Personen eignen sich leichtgewichtige Werkzeuge, die leicht zu installieren sind und mit bescheidener Hardware auskommen. Ein gemeinsam genutzter, produktiver Dienst mit vielen gleichzeitigen Nutzern profitiert von einer Engine, die auf Durchsatz ausgelegt ist. Faustregel: Ein Entwicklungsarbeitsplatz braucht andere Werkzeuge als ein Produktionsdienst.

Durchsatz und Latenz ziehen dabei in verschiedene Richtungen, und die Balance hängt von Grafikkarte, Modellgröße, Kontextlänge und Zahl gleichzeitiger Nutzer ab. Große Batches erhöhen die Tokens pro Sekunde über alle Nutzer und können die Zeit bis zum ersten Token einer einzelnen Anfrage verlängern. Mit kleinen Batches ist es umgekehrt. Eine Benchmark-Zahl, die sich ungeprüft übertragen ließe, gibt es nicht. Dimensionieren Sie die Kapazität an Ihrer eigenen, repräsentativen Last.

Was das für Datenresidenz und Kontrolle bedeutet

Offene Modelle mit selbst kontrollierten Gewichten können vollständig auf eigener Infrastruktur laufen. Bei reinem Selbstbetrieb ohne externe Dienste verlassen Prompts, Dokumente und erzeugte Texte die eigene Umgebung nicht. Datenresidenz und Kontrolle über den Datenfluss ergeben sich aus dem Aufbau und müssen nicht vertraglich zugesagt werden. Das ist eine gute technische Grundlage für Organisationen unter der DSGVO oder mit branchenspezifischer Vertraulichkeit. Eine rechtliche Bewertung des Gesamtsystems ersetzt sie nicht. Die Kriterien dafür stehen im Artikel KI und DSGVO im Unternehmen.

Wann sich der eigene Betrieb gegenüber einer Cloud-API rechnet, behandelt der Artikel Eigenes Sprachmodell oder Cloud-API. Wie die Modellschicht in unserer Plattform aufgebaut ist, zeigt die Seite zu Beyonetix OS.

Häufige Fragen

Was ist LLM-Inferenz, und warum ist sie der Engpass?

Inferenz ist das Erzeugen von Antworten mit einem bereits trainierten Modell. Das Training geschieht einmalig, die Inferenz läuft bei jeder Anfrage. Hier entscheiden sich Kosten, Latenz und Auslastung der Hardware.

Welche Modelle lassen sich selbst betreiben?

Grundsätzlich jedes offene Modell mit frei verfügbaren Gewichten, von kleinen Modellen bis zu sehr großen Modellen. Die Lizenz sollten Sie vor dem produktiven Einsatz prüfen, denn sie fällt je nach Modellfamilie unterschiedlich aus.

Wann reicht eine leichtgewichtige Lösung, wann braucht es eine Engine für hohen Durchsatz?

Für einzelne Arbeitsplätze oder kleine interne Werkzeuge genügt ein einfaches Setup. Für einen gemeinsam genutzten Produktionsdienst mit vielen gleichzeitigen Nutzern lohnt sich eine Engine, die auf Durchsatz ausgelegt ist.

Ist selbst betriebene Inferenz automatisch datenschutzkonform?

Sie ist eine notwendige technische Grundlage und garantiert noch keine Konformität. Ob eine konkrete Umsetzung die rechtlichen Anforderungen erfüllt, hängt vom Gesamtsystem ab und sollte gesondert geprüft werden.

Fragen zum Betrieb eigener Modelle?

Wir besprechen mit Ihnen Last, Hardware und die Anforderungen Ihrer Anwendung.