Generierung, Sampling und Ausgabeformate
Length Penalty
Bewertungsanpassung anhand der Länge einer Kandidatensequenz.
Die Length Penalty korrigiert die Bewertung von Kandidatensequenzen nach ihrer Länge. Sie gehört zur Suche über mehrere Kandidaten und stammt aus der maschinellen Übersetzung, wo sie zusammen mit der Strahlsuche beschrieben wurde. Wu et al.
Ohne Korrektur gewinnt immer das Kurze
Der Grund ist rechnerisch: Die Wahrscheinlichkeit einer Folge ist das Produkt der Einzelwahrscheinlichkeiten, und jedes weitere Token macht dieses Produkt kleiner. Ohne Ausgleich bevorzugt die Suche deshalb systematisch kurze Ausgaben, was bei Übersetzungen zu abgeschnittenen Sätzen führt.
Die Korrektur teilt die Bewertung durch einen von der Länge abhängigen Faktor. Wie stark dieser wirkt, ist einstellbar, und in Untersuchungen zu Suchstrategien zeigt sich, dass die Einstellung das Ergebnis spürbar beeinflusst. Freitag, Al-Onaizan
So kannst du dir das vorstellen
Eine Bewertung, bei der jeder zusätzliche Satz Punkte kostet. Ohne Ausgleich gewinnt der Einzeiler, auch wenn die Aufgabe eine Erklärung verlangte. Das Bild erklärt den Ausgleich, nicht die Formel.
Was es in der Praxis bedeutet
In den Schnittstellen großer Anbieter taucht diese Einstellung praktisch nicht auf, weil dort nicht mit Strahlsuche gearbeitet wird. Wer eigene Modelle für Übersetzung oder Umformung betreibt, findet sie in den Bibliotheken.
Für die Steuerung der Antwortlänge im Alltag ist sie der falsche Hebel. Dafür gibt es die Obergrenze für neue Tokens und eine klare Anweisung im Prompt.
Wo es verwechselt wird
Die Längenkorrektur begrenzt die Länge nicht, sie gleicht nur die Bewertung aus. Und sie ist keine Einstellung für Chatmodelle, sondern ein Bestandteil der Kandidatensuche.
Verwandte Begriffe
Beam Search, Max New Tokens, Decoding, Output Limit, Greedy Decoding.