vLLM

vLLM ist eine Serversoftware für den Betrieb von Sprachmodellen unter Last. Sie entstand aus einer Arbeit zur Speicherverwaltung: Der Zwischenspeicher für den Kontext wird nicht als zusammenhängender Block je Anfrage reserviert, sondern in Seiten verwaltet, ähnlich der Speicherverwaltung eines Betriebssystems. Kwon et al.

Speicherverwaltung als Durchsatzhebel

Der Gewinn liegt darin, dass kein Speicher auf Verdacht reserviert wird. Vorher musste für jede Anfrage Platz für die maximal mögliche Länge freigehalten werden, auch wenn die Antwort kurz ausfiel. Mit seitenweiser Verwaltung passen deutlich mehr gleichzeitige Anfragen in denselben Speicher, was den Durchsatz erhöht.

Dazu kommen Verfahren, die Anfragen fortlaufend ein- und ausreihen, statt in festen Stapeln zu arbeiten, sowie Unterstützung für die Aufteilung großer Modelle über mehrere Karten. Die Schnittstelle folgt dem verbreiteten Format, sodass bestehende Anwendungen ohne Umbau darauf zeigen können. vLLM

So kannst du dir das vorstellen

Ein Parkhaus, das Plätze nach Bedarf zuteilt, statt jedem Gast pauschal zwei Plätze zu reservieren. Bei gleicher Fläche passen mehr Autos hinein. Das Bild erklärt den Speichergewinn, es beschreibt keine konkrete Umsetzung.

Was es in der Praxis konkret bedeutet

Wenn du ein Modell für mehrere Nutzer betreibst, ist das die übliche Wahl. Wichtige Stellschrauben sind der Anteil des Grafikspeichers, den der Dienst belegen darf, die maximale Kontextlänge und die Zahl der Karten für die Modellaufteilung. Für einen einzelnen Nutzer auf einem Notebook ist die Software überdimensioniert.

Wo es verwechselt wird

vLLM ist kein Modell und keine Oberfläche, sondern der Dienst dahinter. Und der Durchsatzvorteil zeigt sich erst bei mehreren gleichzeitigen Anfragen; für eine einzelne Anfrage ist der Unterschied gering.

Verwandte Begriffe

Continuous Batching, KV Cache, SGLang, Tensor Parallelism, Managed Inference, Model Serving.