Tokens

Tokens sind die Einheiten, in die ein Sprachmodell Text für die Verarbeitung zerlegt: Je nach Tokenizer kann eine solche Einheit ein ganzes Wort, einen Wortteil oder ein Satzzeichen enthalten; auch Leerzeichen spielen bei der Aufteilung eine Rolle. (OpenAI) Wer Tokens zählt, zählt deshalb etwas anderes als Wörter. (OpenAI)

So kannst du dir das vorstellen

Stell dir einen Satz auf einem Papierstreifen vor. Du schneidest ihn in kleine Stücke und gibst jedem Stück eine Nummer. Manche Stücke enthalten ein ganzes Wort, andere nur einen Teil davon. Anschließend lässt sich der Satz als Zahlenfolge aufschreiben und anhand der Zuordnung wieder zusammensetzen.

So kannst du dir das Grundprinzip der Tokenisierung vorstellen: Ein Tokenizer übersetzt Text in eine Folge von Token-IDs, mit der das Modell weiterarbeitet. (OpenAI: tiktoken) Das Bild mit dem Papierstreifen erklärt die Aufteilung und Nummerierung. Wie das Modell aus diesen Zahlen eine brauchbare Antwort erzeugt, ist eine eigene Frage.

Ein Beispiel aus dem Arbeitsalltag

Du möchtest eine Kundenmail zusammenfassen lassen. Du schreibst „Fasse diese Mail in zwei Sätzen zusammen“ und fügst die Nachricht darunter ein.

Deine Anweisung und die Mail gehören zur Eingabe, also zu den Input-Tokens; die vom Modell erzeugte Zusammenfassung besteht aus Output-Tokens. (OpenAI) Für eine grobe Vorstellung kannst du dir zwei Textmengen nebeneinanderlegen: das Material, das du abgibst, und den Text, den du zurückbekommst.

Bei Reasoning-Modellen kann die Zählung zusätzlich interne Reasoning-Tokens enthalten, die du in der sichtbaren Antwort nicht siehst. (OpenAI) Eine knappe Antwort verrät daher noch nicht, wie viele Tokens insgesamt erzeugt wurden. (OpenAI)

Wie viele Wörter sind ein Token?

Eine feste Umrechnung gibt es nicht: Die Tokenzahl hängt unter anderem vom Text, der Sprache und dem verwendeten Encoding ab. (OpenAI) Die häufig genannte Faustregel „ein Token entspricht ungefähr vier Zeichen“ bezieht sich auf englischen Text und liefert auch dort nur eine Schätzung. (OpenAI)

Für einen deutschen Text würde ich deshalb keine Wortzahl mit einem vermeintlich universellen Faktor umrechnen. Wenn die genaue Zahl gebraucht wird, lässt sie sich mit dem zum Modell passenden Tokenizer ermitteln. (OpenAI)

Etwas genauer: Tokenizer und Modell gehören zusammen

Eine Token-ID ist keine universelle Wortnummer: Welcher Textabschnitt hinter einer Zahl steckt, hängt vom jeweiligen Encoding ab. (OpenAI) Deshalb sollte bei einer gemessenen Tokenzahl auch klar sein, welcher Tokenizer verwendet wurde.

Ein Verfahren zur Aufteilung heißt Byte Pair Encoding, kurz BPE; die Bibliothek „tiktoken“ verwendet es, um Text verlustfrei in Tokens zu übersetzen und wieder zurückzuverwandeln. (OpenAI: tiktoken) Wer tiefer einsteigen möchte, kann sich dort ansehen, wie häufige Zeichenfolgen zu gemeinsamen Einheiten zusammengefasst werden. (OpenAI: tiktoken)

Verwandte Begriffe

Zum Weiterlesen im Glossar bieten sich Tokenisierung, Tokenizer, Input-Tokens, Output-Tokens, Reasoning-Tokens, Kontextfenster und Byte Pair Encoding an. Für den Einstieg würde ich mit Tokenisierung und Kontextfenster weitermachen.