Namen häufig genannter Benchmarks
OSWorld
Benchmark für Agentenaufgaben in Desktopumgebungen.
OSWorld setzt einen Agenten vor einen echten Rechner. Statt einer nachgebauten Testumgebung läuft ein vollständiges Betriebssystem mit den üblichen Programmen, und der Agent bedient es über Bildschirm, Maus und Tastatur. Der Aufgabensatz umfasst 369 Aufgaben aus echten Nutzungssituationen, darunter Abläufe, die mehrere Programme überspannen. Xie et al.
Geprüft wird das Ergebnis am System, nicht die Beschreibung
Jede Aufgabe bringt eine definierte Ausgangslage und ein eigenes Prüfskript mit, das den Zustand nach der Bearbeitung kontrolliert, etwa ob eine Datei am richtigen Ort mit dem richtigen Inhalt liegt. Damit entfällt die Bewertung durch Menschen oder durch ein zweites Modell.
Der Abstand zum Menschen war bei der Vorstellung 2024 größer als bei allen anderen gängigen Tests: Menschen lösten über 72 Prozent der Aufgaben, das beste Modell gut 12 Prozent. Die Hauptschwierigkeit lag nicht im Verstehen der Aufgabe, sondern darin, Elemente auf dem Bildschirm zuverlässig zu treffen und Bedienschritte in der richtigen Reihenfolge auszuführen.
So kannst du dir das vorstellen
Jemand bekommt am Telefon erklärt, was zu tun ist, sieht den Bildschirm aber nur als Standbild und muss Klicks auf Verdacht ansagen. Das Ziel ist klar, der Weg dorthin scheitert an der Bedienung. Das Bild erklärt, woran solche Agenten scheitern, es beschreibt keine konkrete Implementierung.
Was es in der Praxis konkret bedeutet
Wenn dir ein Anbieter Computernutzung als Funktion anbietet, ist OSWorld der Test, der zu dieser Fähigkeit passt. Erwarte keine Zuverlässigkeit für unbeaufsichtigte Abläufe: Bei zweistelligen Erfolgsquoten braucht jeder Durchlauf eine Kontrolle. Sinnvoll sind solche Agenten dort, wo ein Fehlschlag folgenlos bleibt und ein Mensch das Ergebnis vor der Weiterverwendung ansieht.
Wo es verwechselt wird
OSWorld prüft die Bedienung eines Desktops, GAIA die Beschaffung von Informationen. Mialon et al. Und ein Agent, der einen Browser über eine Programmierschnittstelle steuert, löst eine andere Aufgabe als einer, der Pixel auf dem Bildschirm interpretiert.
Verwandte Begriffe
WebArena, GAIA, Vision-Language Model, Agent Harness, Modality, Benchmark.