Quantisierung und Modellformate
Sharded Weights
Auf mehrere Dateien verteilte Modellgewichte.
Große Modelle werden nicht als eine Datei ausgeliefert, sondern in Teilen von meist wenigen Gigabyte, dazu eine Indexdatei, die festhält, welcher Tensor in welchem Teil liegt. Beim Laden werden die Teile nacheinander gelesen und zusammengesetzt. Hugging Face
Drei praktische Gründe für die Aufteilung
Erstens der Arbeitsspeicher: Eine Datei mit 140 Gigabyte am Stück zu verarbeiten überfordert viele Systeme, Teile lassen sich nacheinander laden. Zweitens der Transport, denn ein abgebrochener Download bedeutet nur einen verlorenen Teil statt der ganzen Datei. Drittens Grenzen der Speichersysteme und Sammlungen, die Dateigrößen beschränken.
Die Teilung ist rein technisch. Inhaltlich gehören die Teile zusammen, und es fehlt nichts, solange Index und alle Teile vorhanden sind. Hugging Face: safetensors
So kannst du dir das vorstellen
Ein mehrbändiges Nachschlagewerk mit Registerband. Jeder Band ist tragbar, und erst zusammen ergeben sie das Werk. Das Bild erklärt die Rolle der Indexdatei, es beschreibt kein konkretes Format.
Was es in der Praxis konkret bedeutet
Achte beim Herunterladen darauf, wirklich alle Teile und die Indexdatei zu holen; ein fehlender Teil führt zu Fehlermeldungen, die auf eine kaputte Konfiguration hindeuten, obwohl schlicht eine Datei fehlt. Rechne beim Speicherplatz mit der Summe aller Teile. Und plane bei großen Modellen Zeit für den Download ein, auch wenn die einzelnen Teile klein wirken.
Wo es verwechselt wird
Aufgeteilte Gewichte haben nichts mit der Aufteilung eines Modells über mehrere Grafikkarten zu tun. Das eine ist eine Frage der Dateiablage, das andere eine Frage der Ausführung. Beide werden im Englischen ähnlich benannt.
Verwandte Begriffe
safetensors, GGUF, Tensor Parallelism, VRAM, Model Card, Hugging Face Hub.