bitsandbytes

bitsandbytes ist eine Bibliothek, die Quantisierung in gängige Trainingsbibliotheken einbindet. Statt ein Modell vorab umzuwandeln, wird es beim Laden in niedrigerer Präzision in den Speicher gebracht, mit einer zusätzlichen Zeile in der Konfiguration. bitsandbytes

Bekannt durch das Anpassen großer Modelle auf einer Karte

Der größte Wirkungsbereich liegt beim Feintuning. Das Grundmodell liegt in vier Bit eingefroren vor, trainiert werden nur kleine zusätzliche Schichten in höherer Präzision. Damit lassen sich Modelle anpassen, die sonst nicht in den Speicher einer einzelnen Karte passen würden. Dettmers et al.

Dazu kommen speichersparende Optimierer, die den Zustand des Trainingsverfahrens in acht statt 32 Bit halten. Auch das zielt auf denselben Engpass: Beim Training belegt der Optimiererzustand ein Mehrfaches des Modells.

So kannst du dir das vorstellen

Ein Adapter, der ein großes Werkstück in eine kleine Werkbank einspannbar macht. Die Arbeit bleibt dieselbe, nur passt sie jetzt auf die vorhandene Ausstattung. Das Bild erklärt die Rolle als Ermöglicher, es beschreibt keine konkrete Umsetzung.

Was es in der Praxis konkret bedeutet

Relevant wird die Bibliothek, wenn du selbst anpasst oder ein Modell laden willst, für das der Speicher knapp ist. Das Laden in niedriger Präzision beim Start ist bequem, aber langsamer als ein vorab komprimiertes Modell in einem darauf ausgelegten Format. Für reine Inferenz im Serverbetrieb sind daher Formate mit Vorabkomprimierung die bessere Wahl.

Wo es verwechselt wird

Die Bibliothek ist kein Dateiformat: Sie komprimiert beim Laden, die Datei auf der Platte bleibt unverändert. Und das Laden in vier Bit ersetzt kein auf niedrige Präzision ausgelegtes Verfahren, wenn es um maximale Qualität bei minimalem Speicher geht.

Verwandte Begriffe

NF4, Double Quantization, LoRA, Quantization, Hugging Face Hub, VRAM.