Vision-Language-Action Model

Ein Vision-Language-Action Model erweitert ein Bild-Sprach-Modell um eine dritte Ausgabeart: Steuerbefehle. Statt einen Text zu erzeugen, gibt es Werte aus, die eine Maschine bewegen, etwa Gelenkwinkel eines Roboterarms. Der Kunstgriff besteht darin, diese Werte wie Tokens zu behandeln, sodass dieselbe Architektur sie vorhersagen kann. Brohan et al.

Weltwissen aus Bildern und Text soll in die Steuerung fließen

Die Hoffnung dahinter ist Verallgemeinerung. Ein Modell, das aus Text und Bildern weiß, was ein Apfel ist und dass etwas Zerbrechliches vorsichtig behandelt wird, soll mit weniger Robotertrainingsdaten auskommen und mit unbekannten Objekten zurechtkommen. Genau dieser Übertrag wird in den Arbeiten gemessen. Kim et al.

Die Grenzen sind erheblich. Die Modelle brauchen viele Demonstrationen pro Robotertyp, und was auf einem Roboter gelernt wurde, überträgt sich nur begrenzt auf einen anderen mit anderer Kinematik.

So kannst du dir das vorstellen

Jemand, der viel gelesen und gesehen hat, aber wenig mit den Händen gearbeitet hat. Das Wissen hilft beim Einordnen der Aufgabe, die Handgriffe muss er trotzdem üben. Das Bild erklärt die Rolle des Vorwissens, es überträgt keine menschlichen Fähigkeiten auf Maschinen.

Was es in der Praxis konkret bedeutet

Für Bürosoftware ist dieses Feld nicht relevant, es betrifft Robotik und Automatisierung. Wenn dir der Begriff in Ankündigungen begegnet, sind zwei Fragen nützlich: auf welcher Hardware das gemessen wurde und wie viele Versuche pro Aufgabe nötig waren. Erfolgsquoten liegen bei körperlichen Aufgaben deutlich niedriger als bei Bildschirmarbeit.

Wo es verwechselt wird

Ein solches Modell ist nicht dasselbe wie ein Agent, der einen Computer bedient. Dort sind die Aktionen Klicks und Tastatureingaben, hier physische Bewegungen mit allen Unwägbarkeiten der echten Welt.

Verwandte Begriffe

Vision-Language Model, AI Agent, OSWorld, Modality, Computer Vision, Tool Use.