Quantisierung und Modellformate
Quantization-Aware Training
Training unter Berücksichtigung späterer Quantisierungseffekte.
Beim Quantization-Aware Training wird die spätere Komprimierung schon während des Trainings simuliert. Das Modell rechnet in voller Präzision weiter, sieht aber die durch Rundung entstehenden Fehler und kann sich darauf einstellen. Das Ergebnis ist ein Modell, das die Komprimierung besser verträgt. Gholami et al.
Besser, aber teurer
Der Vorteil zeigt sich vor allem bei starker Komprimierung. Wo nachträgliche Verfahren bei sehr niedrigen Bitzahlen deutlich an Qualität verlieren, hält ein entsprechend trainiertes Modell länger durch. Der Preis ist ein vollständiger Trainingsdurchlauf, was für die meisten Anwender ausscheidet.
Verwandt, aber nicht dasselbe, ist das Anpassen eines bereits komprimierten Modells: Dabei bleibt das Grundmodell in niedriger Präzision eingefroren, und trainiert werden nur kleine zusätzliche Schichten. Das macht das Anpassen großer Modelle auf einzelnen Grafikkarten möglich. Dettmers et al.
So kannst du dir das vorstellen
Ein Text, der von vornherein so geschrieben wird, dass er auch nach starkem Kürzen verständlich bleibt. Das ist mehr Arbeit als nachträgliches Streichen und liefert ein robusteres Ergebnis. Das Bild erklärt den Unterschied im Zeitpunkt, es beschreibt kein konkretes Verfahren.
Was es in der Praxis konkret bedeutet
Für dich ist das relevant, wenn du sehr kleine Modelle auf schwacher Hardware betreiben willst, etwa auf Geräten ohne Grafikkarte. Dort lohnt der Blick, ob ein Anbieter bereits eine für niedrige Präzision trainierte Fassung bereitstellt, statt selbst nachträglich zu komprimieren. Selbst durchführen wirst du das Training in aller Regel nicht.
Wo es verwechselt wird
Der Begriff wird mit dem Anpassen komprimierter Modelle verwechselt. Hier geht es um das Grundtraining, dort um nachträgliches Feintuning auf einem bereits komprimierten Modell. Und ein so trainiertes Modell ist nicht automatisch besser, sondern nur widerstandsfähiger gegen Präzisionsverlust.
Verwandte Begriffe
Post-Training Quantization, Quantization, LoRA, Bits per Weight, Fine-Tuning, Calibration Dataset.