Tokens, Tokenisierung und Nachrichtenformat
Output Tokens
Heißt auch Completion Tokens oder Ausgabetokens.
Tokens, die das Modell erzeugt.
Output-Tokens sind die Tokens, die ein Modell bei der Bearbeitung einer Anfrage neu erzeugt. Je nach API heißen sie auch Completion Tokens. (OpenAI) Der ausgewiesene Verbrauch kann neben dem sichtbaren Antworttext auch interne Reasoning-Tokens enthalten. (OpenAI)
So kannst du dir das vorstellen
Du lässt aus einem langen Briefing eine kurze Entscheidungsvorlage erstellen. Das Briefing ist die übergebene Eingabe, die Vorlage das neu entstandene Ergebnis.
Für ein Modell mit gesondertem Reasoning-Aufwand reicht das Bild der fertigen Vorlage allerdings nicht ganz: Zur erzeugten Menge können auch Tokens gehören, die nicht im sichtbaren Ergebnis erscheinen. (OpenAI)
Kurze Antwort, größerer Verbrauch
Als frei gewähltes Rechenbeispiel nehmen wir 900 interne Reasoning-Tokens und 100 Tokens sichtbaren Antworttext an. Bei einer Zählweise, die beide in der Ausgabemenge erfasst, ergeben diese Bestandteile zusammen 1.000 Output-Tokens.
Interne Reasoning-Tokens zählen zur Ausgabe; zusätzlich können nicht sichtbare Formatierungstokens zum Gesamtverbrauch gehören. (OpenAI) Die Tokenisierung des kopierten Antworttextes allein muss daher nicht denselben Wert ergeben wie die API-Nutzungsstatistik. (OpenAI)
Ein Ausgabelimit ist keine Wunschwortzahl
Ein Parameter wie max_output_tokens setzt bei der entsprechenden API eine Obergrenze für erzeugte Tokens einschließlich Reasoning und weiterer berücksichtigter Ausgabebestandteile. (OpenAI) Er gibt keine exakte Anzahl von Wörtern vor, denn Wörter und Tokens sind unterschiedliche Einheiten. (OpenAI)
Für eine Zusammenfassung kannst du deshalb zwei Vorgaben getrennt behandeln: die gewünschte Länge im Auftrag und das technische Ausgabebudget in der Anwendung. Wenn der Text abbricht, prüfe zuerst die tatsächlich gemeldeten Nutzungs- und Abschlussinformationen.
Welche Zahl ist für Vergleiche sinnvoll?
Bei einem Modellvergleich würde ich den gesamten Verbrauch für dieselbe Aufgabe erfassen und daneben die Qualität des Ergebnisses bewerten. Eine sparsame Antwort, die wesentliche Angaben auslässt, erfüllt den Auftrag noch nicht.
Auch die Preise für Input- und Output-Tokens können unterschiedlich sein; für eine Kalkulation sind die jeweiligen Kategorien getrennt zu berücksichtigen. (OpenAI)
Verwandte Begriffe
Input-Tokens, Reasoning-Tokens, Token Count und EOS erklären Eingabe, interne Ausgabeanteile, Messung und Abschluss.