Quantization

Quantisierung speichert Modellwerte mit weniger Bits, als sie ursprünglich hatten. Statt jedes Gewicht als 16-Bit-Gleitkommazahl abzulegen, wird es etwa auf acht oder vier Bit abgebildet. Der Speicherbedarf sinkt entsprechend, und weil beim Erzeugen von Text vor allem Gewichte aus dem Speicher geholt werden, wird die Ausgabe zugleich schneller. Gholami et al.

Der Gewinn liegt beim Speicher, nicht beim Rechnen

Ein Modell mit acht Milliarden Parametern belegt in 16 Bit rund 16 Gigabyte, in vier Bit etwa ein Viertel davon. Damit passt es auf Hardware, für die es vorher zu groß war. Das ist der eigentliche Grund für die Verbreitung: nicht Geschwindigkeit, sondern überhaupt ausführbar zu sein.

Der Preis ist Genauigkeit. Wie groß der Verlust ausfällt, hängt vom Verfahren ab und davon, welche Teile des Modells betroffen sind. Ein bekanntes Ergebnis war, dass sich Genauigkeit weitgehend erhalten lässt, wenn einzelne auffällige Werte in höherer Präzision behandelt werden, statt alles gleich zu behandeln. Dettmers et al.

So kannst du dir das vorstellen

Ein Foto in geringerer Auflösung speichern. Für die Vorschau reicht es, für den Druck nicht, und bei manchen Motiven fällt der Unterschied stärker auf als bei anderen. Das Bild erklärt den Zielkonflikt, es gibt keine Faustregel für Qualitätsverluste.

Was es in der Praxis konkret bedeutet

Wähle die Stärke nach Aufgabe, nicht nach Speicherplatz allein. Für Zusammenfassungen und Alltagsdialoge ist starke Komprimierung meist unauffällig. Bei mehrschrittigem Rechnen, Werkzeugnutzung und strengen Ausgabeformaten treten Fehler früher auf. Teste vor dem Wechsel an deinen eigenen Aufgaben und vergleiche mit der unkomprimierten Fassung, statt Berichten zu vertrauen.

Wo es verwechselt wird

Quantisierung ändert die Zahlendarstellung, nicht die Zahl der Parameter. Ein komprimiertes großes Modell ist etwas anderes als ein kleines Modell. Und sie ist kein Training: Die gelernten Werte bleiben, nur ihre Auflösung sinkt.

Verwandte Begriffe

Post-Training Quantization, Quantization-Aware Training, Bits per Weight, VRAM, GGUF, Memory Bandwidth.