Grundbegriffe und Modelltypen
Autoregressive Model
Heißt auch AR Model oder Autoregressives Modell.
Erzeugung weiterer Tokens auf Grundlage vorausgehender Tokens.
Ein autoregressives Modell erzeugt weitere Elemente einer Folge auf Grundlage der vorhergehenden Elemente, einschließlich seiner bereits erzeugten Ausgaben. (Google) Bei einem autoregressiven Sprachmodell geschieht das Schritt für Schritt mit Tokens. (Google)
So kannst du dir das vorstellen
Du schreibst gemeinsam mit jemandem einen Satz. Zuerst steht nur „Morgen“. Dann wird „beginnt“ ergänzt, danach vielleicht „die“ und „Schulung“. Bei jeder Fortsetzung liegt der bisherige Satz schon auf dem Tisch.
Das nächste Stück muss zu dem passen, was bereits geschrieben wurde. Würde die Folge stattdessen mit „Gestern“ beginnen, lägen andere Fortsetzungen nahe.
In einem Sprachmodell sind die Schritte kleiner oder anders aufgeteilt als ganze Wörter, weil die Verarbeitung mit Tokens erfolgt. (OpenAI) Das gemeinsame Satzschreiben ist deshalb nur eine Annäherung an die Reihenfolge der Erzeugung.
Weshalb frühe Ausgaben eine Rolle spielen
Die schon erzeugte Fortsetzung wird Teil der Grundlage für weitere Vorhersagen. (Google) Prüfe bei einer langen Antwort deshalb auch, welche Annahmen gleich zu Beginn gesetzt wurden.
Stell dir eine Zusammenfassung vor, in der zu Beginn versehentlich die falsche Projektphase genannt wird. Spätere Absätze könnten dann zu dieser Darstellung passen, obwohl die Ausgangsannahme falsch war. In einem solchen Fall wäre mein erster Schritt, die falsche Grundlage zu korrigieren, statt nur den letzten Absatz umzuschreiben.
Das ist ein Prüfbeispiel, kein Gesetz, nach dem jeder frühe Fehler zwangsläufig die gesamte Antwort bestimmt.
Autoregressiv ist nicht gleich jedes Sprachmodell
Masked Language Models lösen eine andere Lernaufgabe, indem sie verdeckte Stellen einer vorhandenen Folge vorhersagen. (Hugging Face) Diffusionssprachmodelle wie LLaDA zeigen außerdem, dass Textgenerierung auch über wiederholtes Rekonstruieren maskierter Positionen aufgebaut werden kann. (LLaDA-Projekt)
Wenn in einer Erklärung pauschal steht „Sprachmodelle erzeugen immer das nächste Token“, sollte deshalb geprüft werden, welche Modellfamilie tatsächlich gemeint ist.
Verwandte Begriffe
Hier passen Causal Language Model, Decoder-only Model, Tokens, Sampling, Masked Language Model und Diffusionssprachmodell. Der Vergleich mit dem Diffusionsansatz macht die besondere Erzeugungsreihenfolge greifbar.