Tokens, Tokenisierung und Nachrichtenformat
PAD
Heißt auch Padding Token, PAD-Token oder Padding.
Fülltoken zum Angleichen von Sequenzlängen.
Ein PAD-Token ist ein Platzhalter, mit dem kürzere Tokenfolgen auf eine gemeinsame Länge aufgefüllt werden. Dieses Auffüllen heißt Padding und wird beispielsweise gebraucht, wenn mehrere unterschiedlich lange Texte zusammen als Batch verarbeitet werden. (Hugging Face) Welche Positionen lediglich Füllmaterial sind, kann eine passende Attention Mask kenntlich machen. (Hugging Face)
So kannst du dir das vorstellen
Du sortierst Lieferscheine in ein Formular mit sechs Feldern pro Zeile. Eine Lieferung benötigt alle sechs Felder, eine andere nur vier. In die verbleibenden Felder kommen Platzhalter, damit das Raster gleichmäßig bleibt.
Diese Platzhalter sind keine zusätzlichen gelieferten Waren. Entsprechend sollen Padding-Positionen nicht wie normaler Textinhalt berücksichtigt werden. (Hugging Face)
Ein schematisches Beispiel
Nehmen wir zwei bereits tokenisierte, frei erfundene Folgen:
Folge A: A1 A2 A3 A4 A5
Folge B: B1 B2 PAD PAD PAD
Die Bezeichnungen stehen nur für abstrakte Tokens, nicht für gemessene Wortzerlegungen. Beide Zeilen haben jetzt fünf Positionen; in der zweiten tragen drei davon keinen ursprünglichen Textinhalt.
In der dokumentierten BERT-Konvention erhielte Folge B die Attention Mask 1 1 0 0 0: Eins markiert zu berücksichtigende Positionen, Null die Padding-Positionen. (Hugging Face) Das ist eine konkrete Schnittstellenkonvention, keine universelle Bedeutung jeder beliebigen Maske.
Links oder rechts auffüllen?
Tokenizer können links oder rechts auffüllen und entweder die längste Folge im Batch oder eine vorgegebene Maximallänge als Ziel verwenden. (Hugging Face) Welche Einstellung passend ist, sollte sich nach der Dokumentation des verwendeten Modells und des Verarbeitungsschritts richten.
Padding und Kürzen sind unterschiedliche Vorgänge: Beim Padding werden Positionen ergänzt; Truncation begrenzt eine zu lange Eingabe. (Hugging Face) Wer nur auf gleiche Zeilenlängen schaut, kann diese beiden Ursachen leicht verwechseln.
Verwandte Begriffe
Attention Mask erklärt das Ausblenden der Füllpositionen. Special Tokens, Token-ID und Position IDs ordnen die weiteren Angaben einer Modelleingabe ein.