Logits

Logits sind die rohen Bewertungen, die ein Modell für jedes Token des Wortschatzes ausgibt, bevor daraus Wahrscheinlichkeiten werden. Es handelt sich um eine lange Liste von Zahlen, eine je möglichem Token, die für sich genommen weder auf eins summiert noch zwischen null und eins liegt.

Die Zwischenstufe, an der man eingreifen kann

Erst ein Umrechnungsschritt macht aus diesen Zahlen eine Verteilung, aus der ausgewählt wird. Dazwischen liegt die Stelle, an der sich die Erzeugung steuern lässt: Hier wirken Temperatur, Strafterme für Wiederholungen und Beschränkungen auf erlaubte Tokens.

Genau das nutzen Verfahren für erzwungene Formate: Sie setzen die Bewertungen unzulässiger Tokens auf einen Wert, der sie praktisch ausschließt, sodass nur formgerechte Fortsetzungen übrig bleiben. Willard, Louf Auch die Beobachtung, dass reine Höchstwahrscheinlichkeit zu blassem Text führt, bezieht sich auf diese Ebene. Holtzman et al.

So kannst du dir das vorstellen

Eine Jury vergibt Punkte an alle Kandidaten, bevor daraus Prozentanteile gerechnet werden. In der Punkteliste lässt sich noch nachjustieren, in der fertigen Verteilung nur noch indirekt. Das Bild erklärt die Rolle der Zwischenstufe, nicht die Berechnung.

Was es in der Praxis bedeutet

Über Schnittstellen sind Logits selten direkt zugänglich, wohl aber ihre logarithmierten Wahrscheinlichkeiten für die ausgewählten Tokens. Wer ein Modell selbst betreibt, kann an dieser Stelle eingreifen, etwa um bestimmte Wörter auszuschließen.

Für die Einordnung von Werbeaussagen ist nützlich zu wissen, dass die meisten Steuerungen der Erzeugung genau hier ansetzen und nicht am Modell selbst. Sie ändern die Auswahl, nicht das Wissen.

Wo es verwechselt wird

Logits sind keine Wahrscheinlichkeiten und nicht direkt vergleichbar zwischen Modellen. Und ein hoher Wert bedeutet nicht Richtigkeit, sondern nur, dass dieses Token nach dem Modell gut passt.

Verwandte Begriffe

Softmax, Logprobs, Temperature, Logits Processor, Constrained Decoding, Sampling.