Evaluation, Messgrößen und Benchmark-Fallen
Agent Time Horizon
Aufgabendauer für Menschen, die ein Agent mit definierter Zuverlässigkeit bewältigt.
Der Agent Time Horizon ist ein Maß, das Modellfähigkeit in menschlicher Arbeitszeit ausdrückt. Gemessen wird, wie lange Fachleute für Aufgaben brauchen, die ein Modell in der Hälfte der Fälle erfolgreich abschließt. Für die untersuchten Modelle lag dieser Wert bei etwa 50 Minuten, und er verdoppelte sich den Autoren zufolge seit 2019 ungefähr alle sieben Monate. Kwa et al.
Ein Maß, das sich übersetzen lässt
Der Reiz liegt in der Einheit. Prozentwerte auf einem Benchmark sagen Außenstehenden wenig, eine Zeitangabe schon: Aufgaben, die einen Menschen eine Stunde kosten, sind in Reichweite, Aufgaben über mehrere Tage nicht.
Die Einschränkungen gehören dazu. Die Erfolgsquote von fünfzig Prozent ist eine Festlegung, bei höheren Anforderungen fällt der Wert deutlich niedriger aus. Die Aufgaben stammen aus der Softwareentwicklung und sind klar abgegrenzt und prüfbar, was für viele Bürotätigkeiten nicht gilt. Wie bei jeder Messung bleibt sie an ihr Szenario gebunden. Liang et al.
So kannst du dir das vorstellen
Statt zu sagen, jemand beherrscht achtzig Prozent des Stoffs, sagt man: Er schafft Aufgaben, für die ein Geselle eine Stunde braucht, in der Hälfte der Fälle. Die zweite Angabe kann man sich vorstellen, und sie verschweigt trotzdem, wie es bei der anderen Hälfte ausgeht. Das Bild erklärt den Nutzen der Einheit, nicht ihre Genauigkeit.
Was es in der Praxis bedeutet
Für die Frage, was sich delegieren lässt, ist das Maß eine brauchbare Faustregel: Aufgaben in der Größenordnung von Minuten bis zu einer Stunde sind Kandidaten, mehrtägige Vorhaben nicht, es sei denn, sie lassen sich in kurze Abschnitte schneiden.
Genauso wichtig ist die Kehrseite der Zahl. Bei fünfzig Prozent Erfolgsquote braucht jede Übergabe eine Kontrolle, und der Aufwand für die Kontrolle gehört in die Rechnung.
Wo es verwechselt wird
Die Zeitangabe beschreibt die Aufgabendauer beim Menschen, nicht die Laufzeit des Modells. Und sie ist kein Maß für Autonomie: Wie viel ein Agent ohne Rückfrage erledigen darf, ist eine Entscheidung der Betreiber.
Verwandte Begriffe
Long-Horizon Task, Autonomous Agent, Benchmark, Evaluation, AI Agent.