Token Healing

Token Healing behebt ein Problem an der Nahtstelle zwischen Prompt und Fortsetzung. Endet ein Prompt mitten in einem Wort oder unmittelbar vor einem Zeichen, das normalerweise zu einem größeren Token gehört, passt die Zerlegung nicht zu dem, was das Modell im Training gesehen hat, und die Fortsetzung wird schlechter. Athiwaratkun et al.

Ein Schritt zurück, dann passend weiter

Die Abhilfe besteht darin, die letzten unvollständigen Tokens zurückzunehmen und die Erzeugung so zu führen, dass sie zu den bereits geschriebenen Zeichen passt. Das Ergebnis ist derselbe sichtbare Text, aber eine Zerlegung, die der üblichen entspricht.

Umgesetzt ist das in Werkzeugen für gesteuerte Erzeugung, die ohnehin an der Auswahl der Tokens eingreifen. Guidance

So kannst du dir das vorstellen

Jemand soll einen Satz fortsetzen, der mitten in einem Wort abbricht: „Die Rechnung wurde bez". Statt zu raten, wie es gemeint ist, geht man ein Stück zurück und setzt beim ganzen Wort an. Das Bild erklärt den Rücksprung, nicht die Zerlegung in Tokens.

Was es in der Praxis bedeutet

Betroffen sind vor allem Anwendungen, die Text vervollständigen: Codevervollständigung im Editor, das Weiterschreiben angefangener Sätze, Ergänzungen in Formularen. Im Chatbetrieb spielt das Problem kaum eine Rolle, weil Prompts dort an Wortgrenzen enden.

Praktisch heißt das: Wenn eine Vervollständigung merkwürdig danebenliegt, lohnt der Blick auf das letzte Zeichen des Prompts. Ein Leerzeichen zu viel oder zu wenig kann das Ergebnis verändern.

Wo es verwechselt wird

Token Healing repariert keine Inhalte, sondern die Zerlegung an der Nahtstelle. Und es ist keine Einstellung in Chatschnittstellen, sondern eine Eigenschaft von Werkzeugen zur Vervollständigung.

Verwandte Begriffe

Tokenization, Tokenizer, Constrained Decoding, Logits Processor, Generation.