INT8

INT8 steht für ganzzahlige Werte mit acht Bit, also 256 mögliche Stufen. Gewichte werden dabei nicht als Gleitkommazahlen gespeichert, sondern auf diese Stufen abgebildet, zusammen mit einem Skalierungsfaktor, der den ursprünglichen Wertebereich wiederherstellt. Der Speicherbedarf halbiert sich gegenüber 16 Bit. Dettmers et al.

Acht Bit gelten als unkritisch, vier Bit als Abwägung

Bei acht Bit bleibt die Qualität bei geeigneten Verfahren nahe am Original, was diese Stufe zur risikoarmen Wahl macht. Darunter wird es interessanter: INT4 mit sechzehn Stufen halbiert den Speicher erneut und ist der Standard für Modelle auf Alltagshardware.

Für vier Bit haben sich eigene Formate etabliert, deren Stufen nicht gleichmäßig verteilt, sondern an der typischen Verteilung von Modellgewichten ausgerichtet sind. Diese Verteilung ähnelt einer Glockenkurve, weshalb feinere Stufen in der Mitte mehr bringen als am Rand. Dettmers et al.: QLoRA

So kannst du dir das vorstellen

Eine Farbpalette mit 256 statt Millionen Farben. Für die meisten Bilder genügt das, bei sanften Verläufen sieht man Streifen. Mit 16 Farben wird die Auswahl entscheidend: gleichmäßig verteilt oder an das Motiv angepasst. Das Bild erklärt die Bedeutung der Stufenverteilung, es überträgt keine Qualitätsaussagen.

Was es in der Praxis konkret bedeutet

Als Ausgangspunkt gilt: acht Bit, wenn genug Speicher da ist, vier Bit, wenn nicht. Unter vier Bit lohnt eine eigene Prüfung, weil die Qualität dort merklich abfällt. Bei Modelldateien in Sammlungen steht die Bitzahl im Dateinamen, zusammen mit dem Verfahren. Beides gehört in deine Notizen, sonst lässt sich ein späterer Qualitätsunterschied nicht zuordnen.

Wo es verwechselt wird

Acht Bit bei den Gewichten heißt nicht, dass die Rechnung ganzzahlig läuft. Und die reine Bitzahl sagt wenig: Zwei Vier-Bit-Fassungen mit verschiedenen Verfahren können sich in der Qualität deutlich unterscheiden.

Verwandte Begriffe

FP16, NF4, Bits per Weight, Weight-Only Quantization, Quantization, K-Quants.