Inferenzoptimierung, Serving und Leistungskennzahlen
Prompt Caching
Heißt auch Prefix Caching.
Wiederverwendung bereits berechneter gemeinsamer Promptpräfixe.
Prompt Caching speichert die Verarbeitung eines gleichbleibenden Prompt-Anfangs zwischen, damit sie bei der nächsten Anfrage nicht wiederholt werden muss. Voraussetzung ist ein identischer Anfang: Systemanweisung, Werkzeugdefinitionen, Beispiele oder ein langes Dokument, das bei vielen Anfragen gleich bleibt.
Der Anfang zählt, nicht der Inhalt
Wiederverwendet werden kann nur ein Präfix, also die Zeichenfolge von vorn bis zur ersten Abweichung. Ändert sich ein Wort weit oben, ist alles danach hinfällig. Deshalb gehört das Gleichbleibende nach vorn und das Wechselnde ans Ende.
Die Bedingungen unterscheiden sich je nach Anbieter. Eine Dokumentation nennt Mindestlängen je nach Modell, eine Gültigkeit von fünf Minuten mit optionaler Verlängerung sowie einen Preisaufschlag beim Schreiben und einen deutlich niedrigeren Preis beim Lesen aus dem Zwischenspeicher. Anthropic: Prompt caching Im Serving eigener Modelle gibt es verwandte Verfahren, die gemeinsame Präfixe über einen Baum verwalten. Zheng et al.: SGLang
So kannst du dir das vorstellen
Ein Anwalt muss die Mandatsakte nicht vor jedem Telefonat neu lesen, solange sie auf dem Tisch liegt. Kommt ein neuer Mandant, beginnt das Lesen von vorn. Das Bild erklärt die Bindung an den gleichen Anfang, nicht die Speichertechnik.
Was es in der Praxis bedeutet
Bei Anwendungen mit langer Systemanweisung oder festem Dokumentenanhang ist das der wirksamste Kostenhebel, und die Zeit bis zum ersten Token sinkt mit. Wichtig ist, den Prompt entsprechend zu bauen: stabile Teile oben, Nutzeranfrage unten, keine Zeitstempel oder Zufallswerte im festen Teil.
Zu prüfen ist außerdem die Gültigkeitsdauer. Bei seltenen Anfragen läuft der Zwischenspeicher zwischendurch ab, und dann zahlst du den Aufschlag fürs Schreiben, ohne je aus dem Cache zu lesen.
Wo es verwechselt wird
Zwischengespeichert wird die Verarbeitung des Prompts, nicht die Antwort: Dieselbe Frage wird weiterhin neu beantwortet. Und es ist kein Gedächtnis, weil der Inhalt in jeder Anfrage erneut mitgeschickt wird.
Verwandte Begriffe
KV Cache, Prefill, RadixAttention, Time to First Token, Cached Input Tokens, Cache-Augmented Generation.