Compute

Compute ist der Sammelbegriff für Rechenleistung: die Hardware, die Matrixoperationen ausführt, und die Zeit, die sie dafür läuft. Gemessen wird sie in Rechenoperationen, in Stunden auf einem bestimmten Beschleunigertyp oder schlicht in Geld. NVIDIA

Trainieren und Ausführen stellen verschiedene Anforderungen

Beim Training zählt rohe Rechenleistung über Wochen, verteilt auf viele Beschleuniger, die untereinander schnell verbunden sein müssen. Beim Ausführen eines fertigen Modells liegt der Engpass meist woanders: Für jedes erzeugte Token müssen die Gewichte aus dem Speicher geholt werden, weshalb Speichergröße und Speichertempo wichtiger sind als Rechenleistung.

Diese Unterscheidung erklärt, warum Hardware, die fürs Training beworben wird, für den Betrieb kleiner Modelle überdimensioniert sein kann, und warum umgekehrt eine Karte mit viel Speicher und mäßiger Rechenleistung für Inferenz gut geeignet ist. Google Cloud

So kannst du dir das vorstellen

Ein Umzugsunternehmen kann mehr Motorleistung oder größere Ladeflächen bekommen. Auf der Autobahn hilft der Motor, beim Beladen nicht. Das Bild erklärt die zwei verschiedenen Engpässe, es rechnet keinen Fall vor.

Was es in der Praxis konkret bedeutet

Wenn du Hardware auswählst, frage zuerst nach der Aufgabe. Für den Betrieb eines Modells entscheidet der Speicher darüber, ob es überhaupt läuft, und die Speicherbandbreite darüber, wie schnell. Rechenleistung wird erst bei vielen gleichzeitigen Anfragen zum Engpass. Für Anpassungstraining brauchst du deutlich mehr Speicher als für reine Inferenz, weil Zwischenergebnisse und Optimiererzustände dazukommen.

Wo es verwechselt wird

Rechenleistung auf dem Datenblatt sagt wenig über die erreichbare Geschwindigkeit, weil sie sich auf bestimmte Zahlenformate und ideale Auslastung bezieht. Und mehr Beschleuniger bringen nicht linear mehr Leistung, weil die Verbindung zwischen ihnen zum Engpass wird.

Verwandte Begriffe

GPU, TPU, VRAM, Memory Bandwidth, Inference Cost, Memory-Bound.