Benchmark

Ein Benchmark ist ein standardisierter Test, mit dem sich Modelle vergleichen lassen: feste Aufgaben, feste Bewertung, veröffentlichte Ergebnisse. Weil alle dieselben Aufgaben lösen, sind die Zahlen vergleichbar, und genau darin liegt sowohl der Nutzen als auch die Schwäche.

Gemessen wird, was sich messen lässt

Viele Benchmarks bestehen aus Aufgaben mit eindeutiger Lösung, weil sich nur die automatisch bewerten lassen. Offene Aufgaben, wie sie im Alltag vorkommen, passen schlecht in dieses Format; die bestehenden Tests bilden menschliche Vorlieben nur unzureichend ab. Zheng et al.

Als Gegenbewegung gibt es Ansätze, die mehrere Kennzahlen über viele Szenarien nebeneinanderstellen, statt eine Rangliste aus einer Zahl zu bilden. Liang et al. Der Aufwand dafür ist erheblich, und die Ergebnisse lassen sich schlechter in eine Überschrift packen.

So kannst du dir das vorstellen

Ein Benchmark ist eine Abiturprüfung. Sie sagt etwas über die geprüften Fächer und nichts darüber, ob jemand ein guter Kollege ist. Zwei Kandidaten mit derselben Note können sich im Alltag deutlich unterscheiden. Das Bild erklärt die Reichweite der Aussage, es wertet Prüfungen nicht ab.

Was es in der Praxis bedeutet

Für eine Modellauswahl sind Benchmarkwerte ein Vorfilter, keine Entscheidung. Nützlich ist die Frage, was der Test eigentlich misst: In welcher Sprache sind die Aufgaben? Stammen sie aus deiner Domäne? Ist die Bewertung automatisch oder von Menschen?

Vorsicht ist außerdem bei kleinen Abständen geboten. Ein Unterschied von einem Prozentpunkt zwischen zwei Modellen ist meist bedeutungslos, besonders wenn die Aufgaben schon älter sind und möglicherweise in Trainingsdaten aufgetaucht sind. Die verlässlichere Grundlage bleibt ein eigener Test mit eigenen Fällen.

Wo es verwechselt wird

Ein Benchmark ist keine Evaluation deines Systems, sondern ein Vergleich von Modellen unter Laborbedingungen. Und ein Spitzenwert ist keine Zusage für deinen Anwendungsfall.

Verwandte Begriffe

Evaluation, SOTA, Benchmark Contamination, Benchmark Gaming, Pairwise Evaluation, Golden Dataset.