Inferenzoptimierung, Serving und Leistungskennzahlen
Acceptance Rate
Anteil akzeptierter Kandidatentokens beim spekulativen Decoding.
Die Acceptance Rate ist der Anteil der vorgeschlagenen Tokens, die das Zielmodell übernimmt. Sie ist die Kennzahl, an der der Nutzen des spekulativen Erzeugens hängt: Je häufiger die Vorschläge passen, desto mehr Tokens entstehen je Durchgang. Leviathan et al.
Die Quote hängt am Text, nicht nur am Verfahren
Vorhersagbare Passagen werden gut getroffen: Code, Formulare, wiederkehrende Formulierungen, Fortsetzungen eines klaren Musters. Bei überraschendem Text sinkt die Quote, und der Vorteil schrumpft.
Deshalb zielen neuere Verfahren darauf, die Vorschläge treffsicherer zu machen, etwa indem sie nicht auf Tokenebene raten, sondern auf einer Zwischenebene der Modellrepräsentation. Li et al.: EAGLE
So kannst du dir das vorstellen
Ein Kollege legt Formulierungen vor. Wenn drei von vier Vorschlägen übernommen werden, bist du deutlich schneller fertig. Wenn nur jeder vierte passt, lohnt sich das Vorlegen kaum noch. Das Bild erklärt die Wirkung der Quote, nicht ihre Berechnung.
Was es in der Praxis bedeutet
Wenn du spekulatives Erzeugen einsetzt, ist diese Quote die Zahl, die du beobachten solltest, und zwar getrennt nach Aufgabentyp. Ein Aufbau, der bei Codevervollständigung glänzt, kann bei freier Textarbeit kaum etwas bringen.
Zu beachten ist außerdem der Sonderfall niedriger Quoten: Dann kostet das Verfahren mehr, als es einbringt, weil die Vorschläge trotzdem erzeugt und geprüft werden müssen. In dem Fall ist Abschalten die richtige Einstellung.
Wo es verwechselt wird
Die Annahmequote sagt nichts über die Qualität der Antwort, weil verworfene Vorschläge keine Spur hinterlassen. Und sie ist keine Trefferquote im Sinne von Richtigkeit, sondern eine Übereinstimmung zweier Modelle.
Verwandte Begriffe
Speculative Decoding, Draft Model, EAGLE, Tokens per Second, Inter-Token Latency.