---
term: "Post-Training Quantization"
slug: "post-training-quantization"
glossar_id: "G563"
variants: []
category: "quantisierung-und-modellformate"
marker: "Technik"
short: "Quantisierung nach dem Training."
sources:
  - label: "Frantar et al.: GPTQ"
    url: "https://arxiv.org/abs/2210.17323"
  - label: "Gholami et al.: A Survey of Quantization Methods"
    url: "https://arxiv.org/abs/2103.13630"
status: "entwurf"
updated: "2026-09-21"
---

Bei Post-Training Quantization wird ein fertig trainiertes Modell nachträglich komprimiert. Das Training bleibt unangetastet, und der Vorgang dauert Minuten bis Stunden statt Wochen. Aus diesem Grund ist es der übliche Weg: Die allermeisten komprimierten Modelle in öffentlichen Sammlungen sind so entstanden. [Gholami et al.](https://arxiv.org/abs/2103.13630)

## Eine kleine Datenmenge steuert die Umrechnung

Die einfachste Variante rechnet Werte schlicht um. Bessere Verfahren nutzen eine Kalibrierungsmenge, also einige hundert Textbeispiele, und beobachten, welche Werte durch die Umrechnung besonders stark abweichen. Die Umrechnung wird dann so angepasst, dass der Fehler in der Ausgabe klein bleibt, nicht der Fehler in den Zahlen. [Frantar et al.](https://arxiv.org/abs/2210.17323)

Das erklärt eine Beobachtung aus der Praxis: Zwei Komprimierungen desselben Modells mit derselben Bitzahl können unterschiedlich gut sein, je nach Verfahren und Kalibrierungsdaten.

## So kannst du dir das vorstellen

Ein Text wird nachträglich gekürzt, wobei jemand darauf achtet, welche Sätze für das Verständnis tragend sind. Blindes Kürzen auf dieselbe Länge liefert ein schlechteres Ergebnis. Das Bild erklärt die Rolle der Kalibrierung, es beschreibt kein konkretes Verfahren.

## Was es in der Praxis konkret bedeutet

Wenn du komprimierte Modelle aus einer Sammlung lädst, achte auf drei Angaben: Verfahren, Bitzahl und Herkunft der Kalibrierungsdaten. Passen die Kalibrierungsdaten nicht zu deinem Anwendungsfall, etwa englische Texte bei deutschem Fachvokabular, kann die Qualität stärker leiden als erwartet. Im Zweifel selbst quantisieren mit Beispielen aus deiner Domäne.

## Wo es verwechselt wird

Nachträgliche Komprimierung ist nicht dasselbe wie Training mit Rücksicht auf spätere Komprimierung, das aufwendiger ist und bei sehr niedrigen Bitzahlen bessere Ergebnisse liefert. Und die Kalibrierungsmenge ist kein Training: Die Gewichte werden nicht gelernt, nur umgerechnet.

## Verwandte Begriffe

**Quantization-Aware Training**, **Calibration Dataset**, **GPTQ**, **AWQ**, **Quantization**, **Weight-Only Quantization**.