Quantisierung und Modellformate
EXL2
Quantisierungsformate aus dem ExLlama-Umfeld.
EXL2 ist das Quantisierungsformat einer Laufzeitumgebung, die auf schnelle Ausgabe auf einzelnen Grafikkarten für Endanwender ausgelegt ist. Seine Besonderheit ist die frei wählbare Zielgröße: Statt fester Stufen gibst du einen gewünschten Durchschnitt pro Gewicht an, etwa 4,65 Bit, und das Werkzeug verteilt die Präzision entsprechend über die Schichten. ExLlamaV2
Die Präzision wird nach Messung verteilt
Dazu wird ermittelt, welche Schichten wie stark auf Komprimierung reagieren, und die verfügbaren Bits werden danach vergeben. Empfindliche Teile bekommen mehr, robuste weniger, bis der Zielwert erreicht ist. Der Gedanke ähnelt anderen messgestützten Verfahren, nur mit stufenloser Zielvorgabe. Frantar et al.
Der praktische Nutzen liegt in der Speicherplanung. Wer 24 Gigabyte Grafikspeicher hat, kann eine Zielgröße wählen, die den Speicher möglichst ausnutzt, statt zwischen zwei festen Stufen wählen zu müssen, von denen eine zu klein und die andere zu groß ist.
So kannst du dir das vorstellen
Ein Koffer mit fester Größe, in den nach Wichtigkeit gepackt wird, bis er voll ist, statt nach vorgegebenen Paketgrößen. Das Bild erklärt die stufenlose Zielvorgabe, es beschreibt keine konkrete Umsetzung.
Was es in der Praxis konkret bedeutet
Das Format lohnt, wenn du auf einer Grafikkarte betreibst und den Speicher ausreizen willst. Für Betrieb auf Prozessoren oder mit Auslagerung in den Arbeitsspeicher ist das Format aus dem ggml-Umfeld die passendere Wahl. Prüfe vorher, ob deine Serversoftware EXL2 unterstützt, denn die Verbreitung ist geringer.
Wo es verwechselt wird
Die Zahl im Namen ist die Version der Laufzeitumgebung, nicht die Bitzahl. Und der angegebene Durchschnitt pro Gewicht ist ein Mittelwert über ungleich behandelte Schichten, keine feste Präzision.