Sprachmodell

Ein Sprachmodell schätzt, wie wahrscheinlich bestimmte sprachliche Einheiten oder Folgen solcher Einheiten in einem Zusammenhang sind. (Google) Diese Einheiten heißen Tokens und können beispielsweise ganze Wörter oder Wortteile sein. (OpenAI)

So kannst du dir das vorstellen

Lies den Anfang dieses Satzes: „Bitte legen Sie die Rechnung in den …“

Mehrere Fortsetzungen wären denkbar. Vielleicht „Ordner“, vielleicht „Briefkasten“. Wenn zuvor von einer Buchhaltung die Rede war, könnte eine andere Fortsetzung naheliegen als in einem Gespräch über die Postzustellung.

An dieser Stelle setzt das Bild an: Ein Sprachmodell bewertet mögliche Fortsetzungen im jeweiligen Kontext. Bei einem autoregressiven Sprachmodell entsteht ein längerer Text, indem es wiederholt das nächste Token auf Grundlage der bisherigen Folge vorhersagt. (Google)

Die tatsächliche Verarbeitung arbeitet mit Zahlen und Tokens, nicht mit bewusst erwogenen Wortvorschlägen wie ein Mensch. (OpenAI: tiktoken)

Sprachlich passend und sachlich richtig sind zwei Prüfungen

Ein flüssiger Satz kann eine falsche Behauptung enthalten; generative Modelle können solche Halluzinationen erzeugen. (Google) Aus einer angenehm formulierten Antwort solltest du deshalb noch keinen Nachweis für ihren Inhalt ableiten.

Für eine Produktbeschreibung könntest du dem Modell ein geprüftes Datenblatt geben und es um einen verständlichen Text bitten. Anschließend vergleichst du Maße, Materialien und Funktionen mit der Vorlage. Die sprachliche Leistung und die Faktenprüfung bleiben dabei getrennte Arbeitsschritte.

Ist jedes Sprachmodell ein LLM?

„Large Language Model“ bezeichnet ein großes Sprachmodell mit sehr vielen Parametern; „Sprachmodell“ ist der allgemeinere Begriff. (Google) Außerdem gibt es unterschiedliche Lernaufgaben: Ein Modell kann etwa die nächste Einheit vorhersagen oder verdeckte Stellen in einem Text rekonstruieren. (Hugging Face)

Deshalb wäre es zu eng, unter jedem Sprachmodell automatisch einen frei antwortenden Chatassistenten zu verstehen. Schon bei der Auswahl lohnt die Frage, ob du Texte erzeugen, vorhandene Texte auswerten oder eine andere Sprachaufgabe bearbeiten möchtest.

Verwandte Begriffe

Für die Grundlagen passen Tokens, Large Language Model, Autoregressives Modell und Masked Language Model. Halluzination erklärt, warum eine plausible Ausgabe trotzdem geprüft werden muss.