Tokens, Tokenisierung und Nachrichtenformat
Byte Pair Encoding
Heißt auch Byte-Pair Encoding oder BPE.
Tokenisierungsverfahren durch schrittweises Zusammenführen häufiger Paare.
Byte Pair Encoding, kurz BPE, ist ein Verfahren zur Tokenisierung, bei dem ein Vokabular durch wiederholtes Zusammenführen häufig benachbarter Einheiten aufgebaut wird. Aus kleinen Ausgangseinheiten entstehen so größere Textbausteine. (Hugging Face) Trotz des Namens muss eine konkrete BPE-Variante nicht mit Bytes beginnen; die Ausgangsbasis kann beispielsweise auch aus Zeichen bestehen. (Hugging Face)
So kannst du dir das vorstellen
Eine Werkstatt verschickt ständig dieselben Kleinteile. Irgendwann fällt auf: Zwei bestimmte Teile werden besonders oft gemeinsam bestellt. Die Werkstatt packt sie deshalb als Set zusammen.
Später entsteht aus einem solchen Set und einem weiteren Teil ein größeres Set. So wächst der Katalog Schritt für Schritt aus den tatsächlich häufigen Kombinationen.
Wie der Tokenbestand entsteht
Beim klassischen BPE-Training wird gezählt, welche benachbarten Einheiten besonders häufig gemeinsam auftreten; das häufigste Paar wird zusammengeführt und als neuer Eintrag aufgenommen. (Hugging Face) Anschließend wiederholt sich der Vorgang auf den bereits veränderten Folgen, bis die vorgesehene Vokabulargröße erreicht ist. (Hugging Face)
Das Training des Tokenizers und seine spätere Anwendung sind dabei verschiedene Vorgänge: Bei der Verarbeitung neuer Texte werden die bereits gelernten Zusammenführungsregeln genutzt. (Hugging Face) Der Tokenizer baut sein Vokabular also nicht bei jeder Kundenmail neu auf. (Hugging Face)
Was BPE nicht festlegt
Die konkrete Zerlegung hängt auch von Vorverarbeitung, Vokabular und Konfiguration ab. (Hugging Face) Zwei BPE-Tokenizer können denselben Satz deshalb unterschiedlich aufteilen. (OpenAI: tiktoken)
Halte in einer technischen Dokumentation deshalb auch den genauen Encoding-Namen oder die Tokenizer-Version fest. Mit dieser Angabe kann jemand anderes deine Tokenzählung nachvollziehen.
Verwandte Begriffe
Byte-level BPE beschreibt die Variante mit einer Byte-Basis. WordPiece und Unigram Tokenization sind weitere Subword-Verfahren; Vocabulary und Pre-tokenization erklären wichtige Rahmenbedingungen.