---
term: "Benchmark Gaming"
slug: "benchmark-gaming"
glossar_id: "G341"
variants: ["Benchmaxxing"]
category: "evaluation-messgroessen-und-benchmark-fallen"
marker: "Szene"
tone: "kritisch"
short: "Optimierung auf Benchmarkwerte statt breiter praktischer Leistungsfähigkeit."
sources:
  - label: "Singh et al.: The Leaderboard Illusion"
    url: "https://arxiv.org/abs/2504.20879"
  - label: "Sainz et al.: NLP Evaluation in trouble"
    url: "https://arxiv.org/abs/2310.18018"
status: "entwurf"
updated: "2026-09-21"
---

Benchmark Gaming meint das gezielte Optimieren auf Testwerte, ohne dass die tatsächliche Leistungsfähigkeit im selben Maß steigt. Der Ausdruck kommt aus der Szene und wird kritisch benutzt, oft in der Form Benchmaxxing. Gemeint ist das Verhalten, nicht ein bestimmtes Verfahren.

## Die Wege sind vielfältig und selten plump

Ein Teil davon ist Auswahl: Wer viele Varianten eines Modells nicht öffentlich testet und nur das beste Ergebnis veröffentlicht, erzeugt einen Wert, der die Bandbreite verschweigt. Eine Untersuchung einer bekannten Rangliste beschreibt genau solche Praktiken und ihre Wirkung auf die Vergleichbarkeit. [Singh et al.](https://arxiv.org/abs/2504.20879)

Ein anderer Teil ist Training nah an den Testaufgaben, bis hin zur unbeabsichtigten Aufnahme von Testdaten. Der Effekt ist derselbe: Der gemessene Wert steigt, ohne dass die Fähigkeit im Alltag zunimmt. [Sainz et al.](https://arxiv.org/abs/2310.18018)

## So kannst du dir das vorstellen

Eine Schule trainiert ihre Klasse auf die Aufgabentypen des Vergleichstests. Die Ergebnisse steigen, und niemand hat gelogen. Ob die Klasse mehr kann, steht auf einem anderen Blatt. Das Bild erklärt den Mechanismus, es unterstellt keine Absicht im Einzelfall.

## Was es in der Praxis bedeutet

Für die Auswahl heißt das: Traue keiner Rangliste allein, besonders nicht bei kleinen Abständen. Nützlicher ist ein eigener Test mit eigenen Fällen, gerade weil er nicht öffentlich ist und deshalb nicht optimiert werden kann.

Aufschlussreich ist auch, was ein Anbieter nicht zeigt. Fehlende Angaben zu Varianten, zur Zahl der Läufe oder zur Behandlung von Testdaten sind ein Hinweis darauf, wie belastbar die Zahlen sind.

## Wo es verwechselt wird

Die Optimierung auf einen Test ist nicht automatisch Betrug: Ein Benchmark ist dafür da, verbessert zu werden. Der Vorwurf zielt auf die Lücke zwischen gemessener Zahl und praktischem Nutzen. Und anders als bei Benchmark Contamination geht es hier um Verhalten, nicht um verunreinigte Daten.

## Verwandte Begriffe

**Benchmark**, **Benchmark Contamination**, **SOTA**, **Evaluation**, **Evaluation Awareness**.