Inferenzoptimierung, Serving und Leistungskennzahlen
KV Cache Quantization
Speichersparende Quantisierung der gecachten Keys und Values.
KV Cache Quantization speichert die zwischengespeicherten Aufmerksamkeitswerte mit weniger Bits je Zahl, etwa mit acht oder vier statt sechzehn. Der Zwischenspeicher wird dadurch kleiner, und es passen mehr oder längere Anfragen gleichzeitig auf dieselbe Grafikkarte. Liu et al.: KIVI
Der Zwischenspeicher ist der neue Engpass
Mit größeren Bündeln und längeren Kontexten wächst dieser Speicher stark und wird zur bestimmenden Größe für Geschwindigkeit und Kapazität. Dazu kommt, dass sein Laden Zeit kostet, in der die Rechenwerke warten.
Die Quantisierung setzt genau dort an, indem sie die Datenmenge verkleinert. Sie ergänzt damit die blockweise Verwaltung, die den Verschnitt verringert, aber die Größe der Daten selbst nicht antastet. Kwon et al.
So kannst du dir das vorstellen
Notizen werden in kleinerer Schrift geführt. Auf denselben Zettel passt mehr, und solange die Schrift lesbar bleibt, ändert sich nichts am Inhalt. Wird sie zu klein, liest man sich gelegentlich falsch. Das Bild erklärt den Tausch, es nennt keine Grenze für die Auflösung.
Was es in der Praxis bedeutet
Für Betreiber ist das eine Stellschraube mit spürbarer Wirkung auf die Kapazität. Acht Bit gelten als weitgehend unproblematisch, während stärkere Verkleinerung eine Prüfung verlangt, ob die Qualität auf den eigenen Aufgaben stabil bleibt.
Zu prüfen ist das mit einer eigenen Testsammlung, besonders bei langen Kontexten. Dort zeigt sich ein Qualitätsverlust zuerst, weil sich kleine Ungenauigkeiten über viele Tokens summieren.
Wo es verwechselt wird
Die Quantisierung des Zwischenspeichers ist nicht die Quantisierung der Modellgewichte: Das eine betrifft die laufende Anfrage, das andere das Modell selbst. Und sie ist etwas anderes als das Auslagern in langsameren Speicher.
Verwandte Begriffe
KV Cache, KV Cache Offloading, Quantization, Memory-Bound, Model Serving.