Inferenzoptimierung, Serving und Leistungskennzahlen
Speculative Decoding
Heißt auch Assisted Decoding.
Kandidatentokens vorschlagen und durch ein Zielmodell überprüfen lassen.
Speculative Decoding beschleunigt die Ausgabe, indem ein schnelles Verfahren mehrere Tokens auf Verdacht vorschlägt und das eigentliche Modell sie in einem Durchgang prüft. Passen die Vorschläge, werden sie auf einmal übernommen; passt einer nicht, wird ab dort neu erzeugt. Entscheidend ist, dass sich das Ergebnis dadurch nicht ändert. Leviathan et al.
Prüfen ist billiger als erzeugen
Der Grund liegt im Engpass der Ausgabeerzeugung: Für jedes einzelne Token müssen die Modellgewichte durch den Speicher gelesen werden, während die Rechenwerke kaum ausgelastet sind. Mehrere Tokens gleichzeitig zu prüfen kostet deshalb kaum mehr als eines zu erzeugen. Cai et al.: Medusa
Der Gewinn hängt daran, wie oft die Vorschläge angenommen werden. Bei vorhersagbarem Text, etwa Code oder festen Formulierungen, ist die Quote hoch, bei überraschendem Text niedrig.
So kannst du dir das vorstellen
Ein Assistent schreibt den nächsten Absatz vor, die Chefin liest ihn und hakt ab, solange es passt. Ab der ersten Abweichung schreibt sie selbst weiter. Solange der Assistent oft richtig liegt, spart das Zeit, und am Ergebnis ändert es nichts, weil die Chefin jedes Wort freigibt. Das Bild erklärt das Prüfprinzip, nicht die Wahrscheinlichkeitsrechnung dahinter.
Was es in der Praxis bedeutet
Für Nutzer von Diensten ist das unsichtbar und wirkt nur über die Geschwindigkeit. Wer selbst betreibt, gewinnt vor allem bei interaktiven Anwendungen mit kleiner Nebenläufigkeit; bei stark gebündeltem Betrieb ist der Vorteil geringer, weil die Rechenwerke dort ohnehin ausgelastet sind.
Wichtig für die Bewertung: Die Beschleunigung ist ein Mittelwert. Bei ungewöhnlichem Text kann sie fast verschwinden, ohne dass etwas kaputt ist.
Wo es verwechselt wird
Spekulatives Erzeugen verschlechtert die Qualität nicht, weil das Zielmodell jedes Token bestätigt. Das unterscheidet es von Quantisierung oder kleineren Modellen, bei denen Genauigkeit getauscht wird.
Verwandte Begriffe
Draft Model, Acceptance Rate, EAGLE, Decode Phase, Memory-Bound, Inter-Token Latency.