Tokens, Tokenisierung und Nachrichtenformat
Token ID
Heißt auch Input IDs oder input_ids.
Numerische Kennung eines Tokens im jeweiligen Vokabular.
Eine Token-ID ist die numerische Kennung eines Tokens im Vokabular eines Tokenizers. Die Liste solcher Kennungen für eine Modelleingabe heißt in vielen Bibliotheken input_ids. (Hugging Face) Ein Token kann dabei ein ganzes Wort oder einen Wortteil repräsentieren; die Kennung bezieht sich auf diesen Eintrag im Vokabular. (Hugging Face)
So kannst du dir das vorstellen
In einem Warenlager bekommt jedes Teil eine Artikelnummer. Auf einem Auftrag stehen dann die Nummern der benötigten Teile in der gewünschten Reihenfolge. Die Nummer beschreibt das Teil nicht; sie verweist auf einen Eintrag im Katalog.
Für unser Gedankenbeispiel könnte die Nummer 17 zum Baustein „Hallo“ gehören. Das ist eine frei erfundene Zuordnung, keine echte Token-ID eines bestimmten Modells.
Warum die Nummer allein wenig verrät
Die Zuordnung hängt vom Encoding ab, und schon Großschreibung oder ein führendes Leerzeichen können andere Tokens ergeben. (OpenAI) Wer eine Zahlenliste untersuchen möchte, braucht daher den passenden Tokenizer, um sie sinnvoll zurückzuübersetzen. (Hugging Face)
Bei der Fehlersuche hilft eine Ansicht, die Originaltext, sichtbare Tokendarstellung und IDs einander zuordnet. Eine nackte Zahlenfolge ist dafür unnötig mühsam.
ID, Position und Typ unterscheiden
Die Token-ID beantwortet: Welcher Token steht hier? Die Position-ID kennzeichnet dagegen seine Stelle in der Folge, während Token Type IDs bei dafür vorgesehenen Modellen beispielsweise zwischen zwei Textsegmenten unterscheiden. (Hugging Face) Diese Angaben können nebeneinander zur selben Eingabe gehören. (Hugging Face)
Auch Spezialtokens erhalten eigene Kennungen und können deshalb in den input_ids auftauchen, obwohl du sie nicht selbst in den Text geschrieben hast. (Hugging Face) Beim Vergleich von Wortzahl und Listenlänge sollte man diese zusätzliche Struktur mitdenken.
Verwandte Begriffe
Vocabulary, Encoding und Special Tokens erklären die Zuordnung. Für die anderen Kennungen derselben Eingabe sind Position IDs und Token Type IDs die passenden Anschlussartikel.