Generierung, Sampling und Ausgabeformate
Greedy Decoding
Jeweils den höchstbewerteten nächsten Token auswählen.
Greedy Decoding wählt bei jedem Schritt das Token mit der höchsten Wahrscheinlichkeit, ohne Zufall und ohne Rückblick. Das Verfahren ist das einfachste überhaupt und bei gleicher Eingabe wiederholbar, sofern sonst nichts variiert.
Lokal beste Wahl, global mittelmäßiger Text
Der Haken steckt im Wort lokal. Jeder Schritt wird für sich optimiert, ohne zu prüfen, ob eine etwas unwahrscheinlichere Wahl später zu einem besseren Text führt. Das Ergebnis ist die bekannte Beobachtung, dass strikte Höchstwahl zu blassem und wiederholungsanfälligem Text führt. Holtzman et al.
Erklärbar ist das auch damit, dass menschlicher Text sich nicht in der Zone der höchsten Wahrscheinlichkeit bewegt, sondern Abwechslung enthält. Meister et al.
So kannst du dir das vorstellen
Eine Wanderung, bei der man an jeder Weggabelung den flachsten Weg nimmt. Man kommt bequem voran und landet zuverlässig im Tal, nicht auf dem Gipfel. Das Bild erklärt die kurzsichtige Auswahl, es bewertet nicht jeden Anwendungsfall.
Was es in der Praxis bedeutet
Für Aufgaben mit einer richtigen Antwort ist dieses Verfahren oft die beste Wahl: Klassifikation, Extraktion, Werkzeugaufrufe, Umwandlung in ein festes Format. Dort will niemand Abwechslung, sondern Verlässlichkeit.
Erreicht wird es in den Schnittstellen meist über die Temperatur null oder eine entsprechende Einstellung. Zu beachten ist, dass auch dann keine vollständige Wiederholbarkeit garantiert ist, weil Bündelung und Hardware kleine Unterschiede erzeugen können.
Wo es verwechselt wird
Greedy Decoding ist nicht die genaueste Methode, sondern die sparsamste. Und es ist nicht dasselbe wie Beam Search, die mehrere Kandidatenfolgen parallel verfolgt.