TPU

TPU steht für Tensor Processing Unit, einen anwendungsspezifischen Chip für maschinelles Lernen. Anders als eine Grafikkarte, die ursprünglich für Bildberechnung entstand, ist dieser Chiptyp von Anfang an auf große Matrixoperationen ausgelegt und bringt schnellen Speicher direkt auf dem Chip mit. Google Cloud

Ein eigener Übersetzungsschritt gehört dazu

Code läuft auf diesen Chips nicht direkt, sondern muss durch einen spezialisierten Übersetzer, der den Rechengraphen eines Frameworks in Maschinencode überführt. Das bringt Optimierungen über mehrere Rechenschritte hinweg, bedeutet aber auch, dass nicht jede Bibliothek ohne Anpassung läuft.

Mehrere Chips lassen sich zu Gruppen verbinden, die als Einheit angesprochen werden. Das ist auf Training großer Modelle ausgelegt, wo viele Beschleuniger eng zusammenarbeiten müssen. Die Verfügbarkeit ist an eine bestimmte Cloudumgebung gebunden, während Grafikkarten überall beschaffbar sind. NVIDIA

So kannst du dir das vorstellen

Eine Spezialmaschine in der Fertigung gegenüber einer Universalmaschine. Für das eine Werkstück ist sie schneller und günstiger, für alles andere unbrauchbar, und sie braucht eigene Programmierung. Das Bild erklärt den Zielkonflikt, es vergleicht keine konkreten Produkte.

Was es in der Praxis konkret bedeutet

Für die meisten Anwender ist das keine Entscheidung, die sie treffen: Wer ein Modell über eine Schnittstelle nutzt, merkt nicht, auf welcher Hardware es läuft. Relevant wird es beim eigenen Training in großem Maßstab, und dort ist die Frage weniger die Hardware als die Bindung an eine bestimmte Umgebung und deren Werkzeugkette.

Wo es verwechselt wird

Der Begriff wird als Oberbegriff für KI-Beschleuniger benutzt, bezeichnet aber eine bestimmte Produktfamilie. Andere Hersteller haben eigene Chips mit eigenen Namen. Und eine TPU ist keine schnellere Grafikkarte, sondern ein anderer Chiptyp mit eigener Werkzeugkette.

Verwandte Begriffe

GPU, Compute, Memory Bandwidth, Tensor Cores, Managed Inference, Model Serving.