Hardware, Laufzeitumgebungen und Entwicklerökosystem
VRAM
Speicher einer GPU für Gewichte, Aktivierungen und weitere Daten.
VRAM ist der Speicher auf der Grafikkarte. Er entscheidet als erste Größe darüber, ob ein Modell überhaupt läuft, denn Gewichte, Zwischenwerte und der zwischengespeicherte Kontext müssen dort hineinpassen. NVIDIA
Drei Posten teilen sich den Platz
Der größte Posten sind die Gewichte: Parameterzahl mal Bytes pro Gewicht, also etwa 16 Gigabyte für acht Milliarden Parameter in 16 Bit oder ein Viertel davon bei vier Bit. Dazu kommt der Zwischenspeicher für den Kontext, der mit Kontextlänge und Zahl gleichzeitiger Anfragen wächst und bei langen Eingaben erheblich wird. Der dritte Posten sind Arbeitsspeicher der Laufzeitumgebung und Zwischenergebnisse. vLLM
Der zweite Posten wird regelmäßig unterschätzt. Ein Modell, das mit kurzen Anfragen problemlos läuft, kann bei 100.000 Token Kontext den Speicher sprengen.
So kannst du dir das vorstellen
Eine Werkbank, auf der Werkzeug, Werkstück und Zwischenablage gleichzeitig Platz finden müssen. Passt das Werkzeug gerade so drauf, bleibt für die Arbeit kein Raum. Das Bild erklärt die Aufteilung, es rechnet keinen konkreten Fall vor.
Was es in der Praxis konkret bedeutet
Plane mit Reserve: Gewichte plus etwa zwanzig Prozent für Zwischenwerte, plus den Kontextspeicher für die längsten Anfragen, mit denen du rechnest. Wenn es knapp wird, ist stärkere Komprimierung der erste Hebel, kürzerer Kontext der zweite. Auslagerung in den Arbeitsspeicher funktioniert, kostet aber ein Vielfaches an Zeit.
Wo es verwechselt wird
Grafikspeicher ist nicht Arbeitsspeicher. Ein Rechner mit 64 Gigabyte Arbeitsspeicher und einer Karte mit 8 Gigabyte kann nur Modelle bis 8 Gigabyte flüssig ausführen. Eine Ausnahme sind Systeme mit gemeinsam genutztem Speicher.
Verwandte Begriffe
Unified Memory, OOM, GPU Offloading, KV Cache, Quantization, Memory Bandwidth.