EAGLE

EAGLE und Medusa sind zwei benannte Verfahren, die das spekulative Erzeugen ohne getrenntes Entwurfsmodell umsetzen. Beide erweitern das Zielmodell so, dass es selbst mehrere kommende Tokens vorschlägt, die anschließend geprüft werden.

Zwei Wege, dieselbe Idee

Medusa hängt zusätzliche Ausgabeköpfe an das Modell, die mehrere Folgetokens gleichzeitig vorhersagen, und prüft die entstehenden Varianten über eine baumförmige Aufmerksamkeit. Der ausdrückliche Anlass war, dass ein eigenes Entwurfsmodell beschafft und gepflegt werden muss. Cai et al.: Medusa

EAGLE setzt eine Ebene tiefer an und sagt nicht Tokens voraus, sondern Merkmale aus einer der oberen Modellschichten, ergänzt um das jeweils bekannte nächste Token. Die Begründung: Auf dieser Ebene ist die Fortschreibung einfacher, und die verbleibende Unsicherheit lässt sich dadurch verringern. Li et al.: EAGLE

So kannst du dir das vorstellen

Statt einen zweiten Zeichner zu beschäftigen, bekommt der Meister einen Block mit Pausdruckvorlagen an den Tisch. Der Vorschlag entsteht am selben Platz, mit demselben Stil. Das Bild erklärt den Verzicht auf ein zweites Modell, nicht die Technik der Vorhersage.

Was es in der Praxis bedeutet

Für Betreiber ist das eine Frage der Ausstattung: Solche Verfahren müssen vom eingesetzten Serving-System unterstützt und für das jeweilige Modell trainiert oder bereitgestellt sein. Beides ist nicht für jedes Modell gegeben.

Bei Leistungsangaben lohnt der genaue Blick. Die berichteten Beschleunigungen gelten für bestimmte Modelle, Aufgaben und Bündelgrößen. Im eigenen Betrieb mit vielen gleichzeitigen Anfragen fällt der Gewinn oft kleiner aus.

Wo es verwechselt wird

EAGLE und Medusa sind keine Modelle, sondern Beschleunigungsverfahren um ein Modell herum. Und sie ändern die Ausgabe nicht, weil jedes Token vom Zielmodell bestätigt wird.

Verwandte Begriffe

Speculative Decoding, Draft Model, Acceptance Rate, Decode Phase, Model Serving.