Token Budget

Ein Token Budget oder Context Budget ist die geplante Aufteilung begrenzter Tokenkapazität auf Anweisungen, Arbeitsmaterial, Gesprächsverlauf und Generierung. Anthropic: Context Engineering OpenAI: Conversation State Es hilft, den vollständigen Aufruf innerhalb der jeweiligen Modell- und Schnittstellengrenzen zu halten. OpenAI: Tokens verstehen und zählen

Platz für die Bearbeitung einplanen

Zum Eingabeumfang können neben sichtbarem Text auch Werkzeugbeschreibungen, Nachrichtenstrukturen und weitere bereitgestellte Inhalte beitragen. OpenAI: Tokens verstehen und zählen Bei Reasoning-Modellen muss außerdem berücksichtigt werden, dass interne Verarbeitung Tokens beanspruchen kann, obwohl diese nicht als fertige Antwort erscheinen. OpenAI: Reasoning Models

Dabei dürfen Zählweisen nicht vermischt werden: Der Parameter max_output_tokens umfasst bei den beschriebenen Modellen sichtbare Ausgabe und Reasoning-Tokens gemeinsam. OpenAI: Responses-Referenz Wer beides zusätzlich zur bereits vollständigen Gesamtausgabe addiert, würde diesen Anteil doppelt zählen.

Eine Budgetaufteilung ist eine Planungsentscheidung, kein Nachweis für die Qualität des enthaltenen Materials. Sinnvoller ist, den Kontext mit möglichst relevanten Informationen zu füllen statt lediglich bis zur Obergrenze. Anthropic: Context Engineering

So kannst du dir das vorstellen

Für einen hypothetischen Angebotsvergleich würdest du Platz für die Prüfkriterien, ausgewählte Angebotsauszüge und das Vergleichsergebnis vorsehen. Ein sehr langer E-Mail-Verlauf könnte dann nicht ohne Prüfung zusätzlich übernommen werden.

Du könntest ältere organisatorische Nachrichten weglassen, während vertragliche Einschränkungen erhalten bleiben. Die Entscheidung würde sich an der Aufgabe orientieren, nicht allein daran, welche Texte am kürzesten sind.

Eine solche Aufteilung braucht keine vermeintlich allgemeingültige Prozentregel. Welche Reserven sinnvoll sind, müsste dein konkreter Ablauf zeigen.

Budget und Verbrauch unterscheiden

Die vorgesehene Obergrenze ist nicht identisch mit der tatsächlich erzeugten Tokenmenge. Schnittstellen stellen dafür Nutzungsangaben bereit, die nach dem Aufruf ausgewertet werden können. OpenAI: Tokens verstehen und zählen OpenAI: Reasoning Models

Ich würde deshalb vollständige Anfragen messen und unvollständige Ausgaben gesondert beobachten. Ein großzügiges Kontextfenster beseitigt weder ein zu enges Ausgabelimit noch Probleme durch irrelevantes Material. OpenAI: Responses-Referenz Anthropic: Context Engineering

Verwandte Begriffe

Token, Context Window, Output Limit, Reasoning Tokens, Context Curation.