Hardware, Laufzeitumgebungen und Entwicklerökosystem
Memory Bandwidth
Geschwindigkeit des Datentransfers zwischen Speicher und Recheneinheiten.
Speicherbandbreite gibt an, wie viele Daten pro Sekunde zwischen Speicher und Recheneinheiten bewegt werden können, angegeben in Gigabyte oder Terabyte pro Sekunde. Für die Ausgabegeschwindigkeit von Sprachmodellen ist das die entscheidende Größe. NVIDIA
Jedes Token liest das ganze Modell
Der Grund liegt im Ablauf: Um ein einzelnes Token zu erzeugen, müssen alle Gewichte einmal aus dem Speicher gelesen werden. Bei einem 16 Gigabyte großen Modell und einer Bandbreite von 800 Gigabyte pro Sekunde ergibt das rechnerisch rund fünfzig Lesevorgänge pro Sekunde, also eine Obergrenze von etwa fünfzig Token pro Sekunde für eine einzelne Anfrage.
Diese Rechnung erklärt zwei Beobachtungen aus der Praxis: warum Komprimierung die Ausgabe beschleunigt, obwohl sich an der Rechenarbeit wenig ändert, und warum mehrere gleichzeitige Anfragen kaum langsamer sind als eine, denn die gelesenen Gewichte werden für alle gleichzeitig genutzt. Google Cloud
So kannst du dir das vorstellen
Ein Koch, der für jedes Gericht einmal in den Keller läuft und alle Zutaten holt. Ob er ein oder vier Gerichte kocht, ändert am Weg wenig. Das Bild erklärt, warum Stapelverarbeitung effizient ist, es rechnet keinen konkreten Fall vor.
Was es in der Praxis konkret bedeutet
Willst du abschätzen, wie schnell ein Modell auf deiner Hardware läuft, teile die Bandbreite durch die Dateigröße des Modells. Das Ergebnis ist eine theoretische Obergrenze; real erreichst du davon einen Teil. Und wenn du mehrere Nutzer bedienst, bündele Anfragen, statt sie nacheinander abzuarbeiten.
Wo es verwechselt wird
Bandbreite ist nicht Rechenleistung. Eine Karte mit hoher Rechenleistung und mäßiger Bandbreite erzeugt Text langsamer als umgekehrt. Beim Verarbeiten langer Eingaben kehrt sich das Verhältnis um, dort zählt Rechenleistung.
Verwandte Begriffe
Memory-Bound, VRAM, Continuous Batching, Quantization, GPU, Tokens per Second.