Inference Cost

Inferenzkosten sind die laufenden Kosten für die Nutzung eines Modells, im Unterschied zu den einmaligen Kosten des Trainings. Bei Diensten wird nach Tokens abgerechnet, getrennt nach Eingabe und Ausgabe, wobei Ausgabetokens deutlich teurer sind. OpenAI

Vier Posten, die in Kalkulationen fehlen

Erstens der wiederholte Kontext: Bei einem Gespräch wird der bisherige Verlauf bei jedem Aufruf erneut gesendet und erneut berechnet. Zweitens interne Reasoning-Tokens, die zur Ausgabe zählen, ohne sichtbar zu sein. Drittens Agentenläufe, bei denen eine Nutzeranfrage zehn oder mehr Modellaufrufe auslöst. Viertens Wiederholungen nach Fehlschlägen.

Bei Eigenbetrieb oder reservierter Kapazität kehrt sich die Logik um: Dann zahlst du für Bereitstellung statt Nutzung, und der Preis pro Anfrage hängt davon ab, wie gut die Hardware ausgelastet ist. AWS

So kannst du dir das vorstellen

Ein Taxameter, das bei jedem Halt den bisherigen Weg neu berechnet. Wer nur den letzten Abschnitt zählt, unterschätzt die Rechnung erheblich. Das Bild erklärt den Effekt des wiederholten Kontexts, es rechnet keinen Fall vor.

Was es in der Praxis konkret bedeutet

Rechne nicht pro Aufruf, sondern pro abgeschlossenem Vorgang: alle Aufrufe, die eine Nutzeranfrage auslöst, einschließlich Wiederholungen. Nutze dafür die Nutzungsdaten aus deinen Aufzeichnungen statt einer Schätzung. Die wirksamsten Hebel sind meist kürzerer Kontext, Zwischenspeicherung gemeinsamer Anfänge und ein kleineres Modell für einfache Teilaufgaben.

Wo es verwechselt wird

Der Preis pro Million Tokens ist nicht der Preis pro Anfrage, und ein günstigeres Modell ist nicht automatisch billiger: Wenn es mehr Versuche braucht oder längere Antworten erzeugt, kann es teurer sein.

Verwandte Begriffe

Cost per Million Tokens, Total Cost of Ownership, Token Burn, Prompt Caching, Model Routing, Provisioned Throughput.