Cached Input Tokens

Cached Input Tokens sind Eingabetokens, für deren Verarbeitung bereits gespeicherte Zustände wiederverwendet werden können. Beim Prompt Caching betrifft das einen übereinstimmenden Anfang der Eingabe, den sogenannten Präfix. (OpenAI) Die Kategorie beschreibt wiederverwendete Eingabeverarbeitung, nicht eine bereits fertig formulierte Antwort. (OpenAI)

So kannst du dir das vorstellen

Du bearbeitest viele Kundenanfragen nach demselben umfangreichen Regelwerk. Die Vorarbeit am unveränderten Regelwerk liegt schon vor, sodass du sie nicht für jeden Fall vollständig neu machen musst. Die jeweilige Kundenanfrage und die Antwort bleiben trotzdem neue Arbeit.

So lässt sich der Nutzen eines Prompt-Caches vorstellen. Technisch speichert ein solcher Cache Zwischenzustände der Modellverarbeitung, sogenannte Key-Value-Zustände. (OpenAI)

Gleicher Sinn reicht nicht

Für die Wiederverwendung muss der entsprechende gerenderte Eingabeanfang übereinstimmen; eine Änderung innerhalb dieses Anfangs verhindert den Treffer für den nachfolgenden Teil. (OpenAI) Zwei nur sinngemäß ähnliche Anweisungen sind daher keine verlässliche Grundlage für denselben Cache-Treffer. (OpenAI)

Für einen wiederkehrenden Prüfprozess bietet es sich an, feste Regeln und Werkzeugdefinitionen stabil zu halten. Welche konkrete Anordnung funktioniert, sollte anschließend anhand der gemeldeten Cache-Nutzung überprüft werden.

Was sich dadurch ändert

Prompt Caching kann die Eingabeverarbeitung beschleunigen und für wiederverwendete Tokens einen günstigeren Tarif ermöglichen. (OpenAI) Mindestlänge, Verfügbarkeit, Speicherdauer und Abrechnungsdetails hängen dabei von Modell und Anbieterregelung ab. (OpenAI)

Die Tokens bleiben Eingabeinhalt; der Cache ersetzt die erneute Berechnung passender Zwischenzustände. (OpenAI) Auch ein fortgesetztes Gespräch garantiert keinen Treffer, etwa wenn kein passender Eintrag mehr verfügbar ist. (OpenAI)

Für eine Kalkulation würde ich deshalb gemessene Trefferquoten verwenden und keine vollständige Wiederverwendung voraussetzen. Die aktuellen Regeln gehören zur konkreten Betriebsentscheidung, nicht zu einer zeitlosen Definition des Begriffs.

Verwandte Begriffe

Input-Tokens, Prompt Caching, KV Cache und Prefix Caching erklären Verbrauchskategorie, Verfahren und gespeicherte Zustände.