Sampling

Sampling ist die zufällige Auswahl des nächsten Tokens entsprechend seiner Wahrscheinlichkeit. Ein Token mit dreißig Prozent wird in etwa drei von zehn Fällen gewählt. Damit unterscheidet sich das Verfahren von der strikten Höchstwahl, die immer dasselbe Token nimmt.

Zufall mit Augenmaß

Reines Ziehen aus der vollen Verteilung ist unbrauchbar, weil der lange Rest unwahrscheinlicher Tokens zusammen genug Gewicht hat, um regelmäßig Unsinn zu erzeugen. Deshalb wird der unwahrscheinliche Teil vorher abgeschnitten, sei es nach fester Anzahl, nach kumulierter Wahrscheinlichkeit oder nach einer Schwelle relativ zum besten Token. Holtzman et al.

Neuere Vorschläge wählen statt nach Wahrscheinlichkeit nach Informationsgehalt, weil menschlicher Text sich in einem mittleren Bereich bewegt. Meister et al.

So kannst du dir das vorstellen

Ein Lostopf, in dem die aussichtsreichen Wörter viele Lose haben und die abwegigen eines. Man zieht, statt immer das dickste Bündel zu nehmen. Das Bild erklärt die Auswahl, nicht die Qualität der Lose.

Was es in der Praxis bedeutet

Aus dem Zufall folgt die wichtigste Alltagsregel: Dieselbe Frage liefert nicht dieselbe Antwort. Das ist kein Fehler, sondern die Einstellung. Wer Ergebnisse vergleicht, muss mehrfach erzeugen oder die Zufälligkeit abschalten.

Für Tests heißt das außerdem, dass ein einzelner gelungener Versuch nichts beweist. Erst mehrere Läufe zeigen, wie zuverlässig eine Aufgabe gelöst wird.

Wo es verwechselt wird

Sampling ist nicht dasselbe wie Kreativität: Der Zufall erzeugt Abwechslung, keine Ideen. Und die Abschneideverfahren sind keine eigenständigen Alternativen, sondern legen fest, woraus gezogen wird.

Verwandte Begriffe

Temperature, Top-k Sampling, Top-p, Min-p Sampling, Greedy Decoding, Seed.