Namen häufig genannter Benchmarks
AIME
Mathematikwettbewerbsaufgaben, die zur Modellevaluation verwendet werden.
AIME steht für American Invitational Mathematics Examination, einen Mathematikwettbewerb für Schülerinnen und Schüler, der seit 1983 jährlich stattfindet. Er besteht aus 15 Aufgaben in drei Stunden, jede Antwort ist eine ganze Zahl zwischen 000 und 999, und teilnehmen darf nur, wer sich über die vorgeschalteten AMC-Tests qualifiziert hat. AIME
Ein Wettbewerb wurde zum Testsatz
Für die Bewertung von Modellen ist das Format praktisch: Eine ganze Zahl lässt sich ohne Zutun eines Menschen mit der Musterlösung vergleichen, und jeder Jahrgang liefert frische Aufgaben, die vorher nicht öffentlich waren. Seit 2024 gehören AIME-Werte deshalb zum festen Repertoire in Ankündigungen von Reasoning-Modellen.
Der Name allein sagt aber nicht, was gemessen wurde. Üblich sind Angaben wie „AIME 2025", oft über beide Termine eines Jahrgangs und damit 30 Aufgaben. Manche Messungen mitteln über mehrere Durchläufe, andere berichten einen einzelnen. Auch das Wettbewerbsformat selbst hat sich über die Jahre verändert. Ohne Jahrgang, Anzahl der Aufgaben und Zahl der Durchläufe ist ein AIME-Wert nicht einzuordnen.
So kannst du dir das vorstellen
Zwei Prüflinge geben dasselbe Endergebnis ab. Einer hat sauber hergeleitet, der andere geraten und Glück gehabt. Auf dem Antwortbogen steht dasselbe. Das Bild erklärt, was bei reiner Endergebnisprüfung unsichtbar bleibt, es unterstellt nicht, dass Modelle überwiegend raten.
Was es in der Praxis konkret bedeutet
Bei 30 Aufgaben entspricht eine einzige Aufgabe gut drei Prozentpunkten. Vorsprünge unterhalb dieser Größe sind kein Beleg für ein besseres Modell. Dass nur das Endergebnis zählt, hat eine Untersuchung von 2025 an den Aufgaben der USA-Mathematikolympiade nachgewiesen: Bei voller Bewertung der Beweisführung kam das beste Modell dort auf 25 Prozent, während dieselben Modelle bei reiner Endergebnisprüfung nahe an die Spitzenteilnehmer herankamen. Petrov et al.
Wo es verwechselt wird
AIME misst Aufgabenlösung unter Wettbewerbsbedingungen, nicht mathematische Forschungsfähigkeit. Dafür steht FrontierMath. Und ein hoher AIME-Wert sagt nichts darüber, ob ein Modell seinen Rechenweg korrekt begründen kann.
Verwandte Begriffe
FrontierMath, MATH-500, GSM8K, Reasoning Model, Benchmark, Pass@k.