NF4

NF4 steht für NormalFloat mit vier Bit, einen Datentyp mit sechzehn Stufen, die nicht gleichmäßig verteilt sind. Die Stufen liegen dort dichter, wo Modellgewichte häufig vorkommen, also nahe der Mitte, und dünner am Rand. Grundlage ist die Beobachtung, dass Gewichte annähernd glockenförmig verteilt sind. Dettmers et al.

An die Verteilung angepasste Stufen

Bei gleichmäßiger Verteilung der Stufen liegen viele davon in Bereichen, in denen kaum Gewichte vorkommen, und werden verschwendet. Eine an die Verteilung angepasste Stufenwahl nutzt dieselben sechzehn Werte besser aus, was bei identischer Dateigröße zu geringerem Qualitätsverlust führt. Gholami et al.

Bekannt wurde der Datentyp im Zusammenhang mit dem Anpassen großer Modelle auf einzelnen Grafikkarten: Das Grundmodell liegt in vier Bit eingefroren vor, trainiert werden nur kleine zusätzliche Schichten in höherer Präzision.

So kannst du dir das vorstellen

Eine Kleidergrößenskala mit sechzehn Größen. Verteilt man sie gleichmäßig von sehr klein bis sehr groß, passt vielen niemand richtig. Legt man sie dichter dorthin, wo die meisten Menschen liegen, passt es besser. Das Bild erklärt die Stufenverteilung, es beschreibt keine konkreten Werte.

Was es in der Praxis konkret bedeutet

In Werkzeugen zum Laden von Modellen taucht NF4 als Option beim Laden in vier Bit auf, oft zusammen mit einer zweiten Komprimierungsstufe für die Skalierungsfaktoren. Für reine Inferenz auf Alltagshardware sind Formate aus dem Umfeld lokaler Laufzeitumgebungen üblicher. Für das Anpassen großer Modelle mit wenig Speicher ist es weiterhin der Standardweg.

Wo es verwechselt wird

NF4 ist ein Datentyp, kein Quantisierungsverfahren wie GPTQ oder AWQ und kein Dateiformat. Und die Bezeichnung sagt nichts darüber, ob zusätzlich Skalierungsfaktoren komprimiert wurden.

Verwandte Begriffe

Double Quantization, INT8, LoRA, Bits per Weight, Quantization, bitsandbytes.