Tokens, Tokenisierung und Nachrichtenformat
Bytes per Token
Heißt auch Bytes pro Token oder BPT.
Kennzahl für die Kompaktheit einer Tokenisierung.
Bytes per Token beschreibt, wie viele Bytes eines Textes im Durchschnitt auf einen Token entfallen. Die Kennzahl dient dazu, die Kompaktheit einer Tokenisierung bezogen auf die zugrunde liegenden Textbytes zu beschreiben; tiktoken nennt in seiner Erläuterung dazu einen ungefähren Praxiswert von vier Bytes pro Token. (OpenAI: tiktoken) Diesen Durchschnitt sollte man nicht als feste Eigenschaft jedes einzelnen Tokens lesen.
So kannst du dir das vorstellen
Du verteilst eine bestimmte Warenmenge auf Transportkisten. „Kilogramm pro Kiste“ sagt dir, wie viel durchschnittlich in einer Kiste steckt. Einzelne Kisten können trotzdem unterschiedlich schwer sein.
Bei Bytes per Token bleibt die Textmenge die Bezugsgröße. Du untersuchst, wie viele Bytes im Mittel durch eine Einheit der Tokenfolge repräsentiert werden.
Ein Rechenbeispiel
Für diesen Artikel verwenden wir die Rechenkonvention: Bytes des Ausgangstextes geteilt durch die Zahl seiner Texttokens. Spezialtokens und zusätzliche Nachrichtenformatierung lassen wir bei diesem Vergleich bewusst außen vor.
Angenommen, ein Text umfasst 1.200 Bytes und wird in 300 Tokens zerlegt. Dann ergibt sich:
[ \text{Bytes pro Token} = \frac{1.200}{300} = 4 ]
Die Zahlen sind frei gewählt. Ergäbe ein anderer Tokenizer für denselben Text 400 Tokens, läge der Wert bei drei Bytes pro Token.
Was ein Vergleich voraussetzt
Für eine brauchbare Messung sollten Ausgangstext, Zeichenkodierung und Zählumfang gleich bleiben. Außerdem würde ich mehrere repräsentative Texte verwenden, statt aus einem einzelnen Satz eine allgemeine Aussage abzuleiten.
Die Tokenisierung hängt vom Encoding und vom jeweiligen Text ab; deshalb kann dieselbe Textmenge je nach Modell unterschiedlich viele Tokens ergeben. (OpenAI) Eine Schätzung in Zeichen pro Token und eine Messung in Bytes pro Token sollten zudem nicht ohne Prüfung als dieselbe Kennzahl behandelt werden.
Keine Speicherangabe für das Modell
Gemeint ist hier die Beziehung zwischen Textbytes und Texttokens. Modellgewichte, Arbeitsspeicherbedarf oder Cache-Größe sind nicht Bestandteil unserer Rechenkonvention.
Ein höherer Wert bedeutet in diesem Vergleich weniger Tokens für dieselbe Bytefolge. Bewerte die Antwortqualität des Modells davon getrennt, etwa anhand eines eigenen Aufgabentests.
Verwandte Begriffe
Byte-level BPE, Token Count, Vocabulary und Encoding erklären die Faktoren hinter der Kennzahl. KV Cache behandelt einen anderen Aspekt der Verarbeitung.