Hardware, Laufzeitumgebungen und Entwicklerökosystem
Tensor Cores
Spezialisierte Recheneinheiten für bestimmte Matrixoperationen.
Tensor Cores sind Recheneinheiten, die nur eine Sache tun: kleine Matrizen multiplizieren und das Ergebnis aufaddieren. Genau diese Operation macht den Großteil der Arbeit in neuronalen Netzen aus, weshalb spezialisierte Einheiten dafür ein Vielfaches der Leistung allgemeiner Kerne erreichen. NVIDIA
Der Gewinn hängt am Zahlenformat
Diese Einheiten arbeiten nicht mit beliebiger Präzision. Sie unterstützen bestimmte Formate, meist mit 16 Bit oder weniger, und rechnen intern mit höherer Genauigkeit weiter, damit sich Rundungsfehler nicht summieren. Genau dieses Vorgehen liegt dem gemischt-präzisen Training zugrunde. Micikevicius et al.
Welche Formate unterstützt werden, unterscheidet sich zwischen Kartengenerationen. Eine ältere Karte kann ein neueres Format entweder gar nicht oder nur ohne Beschleunigung verarbeiten, was den erwarteten Geschwindigkeitsvorteil zunichtemacht.
So kannst du dir das vorstellen
Eine Stanzmaschine neben einer Werkbank. Für das eine Werkstück ist sie unschlagbar schnell, und sie nimmt nur Material einer bestimmten Stärke. Das Bild erklärt die Spezialisierung, es beschreibt keine konkrete Hardware.
Was es in der Praxis konkret bedeutet
Vor dem Kauf oder der Auswahl einer Cloudinstanz lohnt die Frage, welche Zahlenformate die Karte beschleunigt und ob deine Software sie nutzt. Der Unterschied zwischen beschleunigt und nicht beschleunigt liegt nicht bei Prozenten, sondern beim Mehrfachen. Das gilt besonders, wenn du auf ganzzahlige Formate setzt.
Wo es verwechselt wird
Die hohen Leistungsangaben auf Datenblättern beziehen sich auf diese Einheiten und die günstigsten Formate, nicht auf allgemeine Rechenleistung. Und für die Ausgabegeschwindigkeit von Sprachmodellen sind sie meist nicht der Engpass, dort zählt die Speicherbandbreite.