GPTQ

GPTQ ist ein Verfahren, das ein trainiertes Modell nachträglich auf wenige Bit pro Gewicht bringt. Es arbeitet schichtweise und rundet nicht einfach ab: Nach jedem gerundeten Gewicht werden die verbleibenden Gewichte derselben Schicht so angepasst, dass der entstandene Fehler ausgeglichen wird. Frantar et al.

Fehlerausgleich statt bloßem Runden

Der Unterschied zu einfachem Runden ist erheblich. Wenn jedes Gewicht für sich gerundet wird, summieren sich die Abweichungen. Wird stattdessen nach jedem Schritt nachgesteuert, bleibt die Schicht als Ganzes näher am Original. Als Maßstab dient dabei der Fehler in der Ausgabe der Schicht, nicht die Abweichung der einzelnen Zahl. Gholami et al.

Nötig dafür ist eine kleine Menge Beispieldaten, an der beobachtet wird, welche Ausgaben eine Schicht erzeugt. Der Vorgang dauert bei großen Modellen Stunden statt Wochen, weil nichts trainiert wird.

So kannst du dir das vorstellen

Ein Möbelstück wird eingekürzt, und nach jedem Schnitt wird nachgemessen und die nächste Kante angepasst, damit es am Ende gerade steht. Wer alle Kanten unabhängig kürzt, bekommt ein schiefes Ergebnis. Das Bild erklärt das Prinzip des Nachsteuerns, es beschreibt keine konkrete Umsetzung.

Was es in der Praxis konkret bedeutet

In Modellsammlungen begegnet dir GPTQ als Angabe im Dateinamen, meist zusammen mit der Bitzahl und der Gruppengröße. Kleinere Gruppen bedeuten mehr Skalierungsfaktoren, also bessere Qualität bei etwas größerer Datei. Für Grafikkarten ist das Format verbreitet; für Betrieb auf Prozessoren sind andere Formate üblicher.

Wo es verwechselt wird

Der Name enthält GPT, das Verfahren ist aber nicht an eine Modellfamilie gebunden und wird auf viele Architekturen angewendet. Und es ist ein Quantisierungsverfahren, kein Dateiformat: Die Ergebnisse werden in gängigen Gewichtsformaten abgelegt.

Verwandte Begriffe

AWQ, Post-Training Quantization, Calibration Dataset, Bits per Weight, Weight-Only Quantization, safetensors.