Tokens, Tokenisierung und Nachrichtenformat
Pre-tokenization
Heißt auch Pre-Tokenization, Vor-Tokenisierung oder Pretokenization.
Vorzerlegung von Text vor der eigentlichen Subword-Tokenisierung.
Pre-tokenization ist die Vorzerlegung eines Textes, bevor das eigentliche Tokenisierungsverfahren die endgültigen Tokens bestimmt. Sie kann beispielsweise an Leerzeichen, Satzzeichen oder nach Regeln für Ziffern trennen. (Hugging Face) Die so entstandenen Abschnitte setzen Grenzen dafür, welche größeren Tokens im nachfolgenden Schritt entstehen können. (Hugging Face)
So kannst du dir das vorstellen
In einer Werkstatt wird eine große Materialplatte zuerst in handliche Streifen geschnitten. Aus jedem Streifen entstehen anschließend kleinere Teile. Ein Teil, das über zwei getrennte Streifen hinweg reichen müsste, lässt sich in diesem Arbeitsgang nicht mehr am Stück ausschneiden.
Die erste Aufteilung entspricht der Pre-tokenization. Die Feinarbeit innerhalb der Abschnitte übernimmt danach das Tokenisierungsverfahren.
Weshalb die Vorzerlegung einen Unterschied macht
Ein Pre-Tokenizer kann Wörter und Satzzeichen voneinander trennen; eine andere Konfiguration kann zusätzlich jede Ziffer einer Zahl einzeln abgrenzen. (Hugging Face) Damit beeinflusst bereits dieser frühe Schritt, was der nachfolgende Algorithmus als Einheit behandeln kann. (Hugging Face)
Probiere für einen Vergleich einen Text mit einer Bestellnummer, einem Bindestrich und einem Datum aus. Untersuche, welche Grenzen von der Vorzerlegung stammen und welche erst später entstehen.
Vorzerlegen und Normalisieren unterscheiden
Normalisierung verändert die Darstellung des Textes, etwa durch Kleinschreibung oder Vereinheitlichung bestimmter Zeichen; Pre-tokenization teilt ihn in Abschnitte auf. (Hugging Face) In der beschriebenen Hugging-Face-Pipeline stehen beide Schritte vor dem Tokenisierungsmodell. (Hugging Face)
Eine solche Konfiguration sollte man bei einem bestehenden Tokenizer nicht beiläufig austauschen: Nach Änderungen an der Vorzerlegung gehört der Tokenizer grundsätzlich neu trainiert. (Hugging Face) Für eine Anwendung mit einem fertigen Sprachmodell würde ich daher zunächst die mitgelieferte Konfiguration unverändert verwenden.
Verwandte Begriffe
Tokenisierung beschreibt den gesamten Vorgang, Tokenizer seine technische Umsetzung. Byte Pair Encoding, WordPiece und Encoding helfen, die nachfolgenden Schritte einzuordnen.