Evaluation, Messgrößen und Benchmark-Fallen
Pass@k
Erfolgsmaß dafür, ob mindestens einer von k Versuchen erfolgreich ist.
Pass@k misst, ob unter k erzeugten Versuchen mindestens einer die Aufgabe löst. Bekannt wurde das Maß bei der Bewertung von Programmcode: Eine Lösung gilt als richtig, wenn sie die mitgelieferten Tests besteht, und gezählt wird, ob das bei einem von k Versuchen gelingt. Chen et al.
Der Unterschied zwischen einem und mehreren Versuchen ist groß
Pass@1 misst die Trefferquote beim ersten Anlauf. Mit steigendem k steigt der Wert, und zwar oft deutlich, weil wiederholtes Erzeugen mit etwas Zufall verschiedene Lösungen hervorbringt. Dieselbe Arbeit weist wiederholtes Ziehen ausdrücklich als wirksame Strategie für schwierige Aufgaben aus.
Damit die Zahl etwas bedeutet, braucht es eine automatische Prüfung: Bei Code sind das Tests, bei anderen Aufgaben eine überprüfbare Bedingung. Ohne diese Prüfung lässt sich nicht sagen, welcher Versuch gelungen ist. Solche Maße gehören deshalb in Bewertungsrahmen neben andere Kennzahlen. Liang et al.
So kannst du dir das vorstellen
Pass@k entspricht der Frage, ob der Elfmeter in einem von fünf Versuchen sitzt. Für ein Turnier zählt der erste Schuss, für das Training sind fünf Versuche die nützlichere Auskunft. Das Bild erklärt den Unterschied der Fragestellungen, es bewertet keine Trefferquote.
Was es in der Praxis bedeutet
Achte beim Lesen von Werbeaussagen auf das k. Ein hoher Wert bei Pass@10 klingt gut und heißt, dass neun Versuche danebengingen. Für ein Produkt, das eine Antwort liefert, ist Pass@1 die ehrlichere Zahl.
Im eigenen Einsatz ist der Gedanke trotzdem nützlich: Wo sich ein Ergebnis automatisch prüfen lässt, kann man mehrfach erzeugen und den ersten funktionierenden Versuch nehmen. Das kostet mehr Tokens und erhöht die Erfolgsquote spürbar.
Wo es verwechselt wird
Pass@k ist kein Maß für Qualität, sondern für das Bestehen einer Prüfung; eine hässliche Lösung, die die Tests besteht, zählt als Erfolg. Und der Wert hängt an der Prüfmenge: Schwache Tests erzeugen hohe Werte.
Verwandte Begriffe
Benchmark, Evaluation, HumanEval, Automatic Evaluation, Sampling.