---
term: "Humanity’s Last Exam"
slug: "humanity-s-last-exam"
glossar_id: "G468"
variants: ["HLE"]
category: "namen-haeufig-genannter-benchmarks"
marker: ""
short: "Fachübergreifende Sammlung besonders schwieriger Expertenfragen."
sources:
  - label: "Phan et al.: Humanity's Last Exam"
    url: "https://arxiv.org/abs/2501.14249"
  - label: "Rein et al.: GPQA"
    url: "https://arxiv.org/abs/2311.12022"
status: "entwurf"
updated: "2026-09-21"
---

Humanity's Last Exam, meist als HLE abgekürzt, ist eine Sammlung von 2.500 Fragen aus dutzenden Fächern, zusammengetragen von Fachleuten aus aller Welt. Der Anlass für den Test Anfang 2025 war die Sättigung der älteren Wissenstests: Auf MMLU lagen die vorderen Modelle bereits über neunzig Prozent, sodass sich Unterschiede nicht mehr ablesen ließen. [Phan et al.: HLE](https://arxiv.org/abs/2501.14249)

## Der Zuschnitt zielt auf Prüfbarkeit, nicht auf Praxisnähe

Jede Frage hat eine eindeutige, maschinell prüfbare Lösung, entweder als Multiple Choice oder als kurze Antwort. Nachschlagen soll nicht helfen. Damit ist HLE ein bewusst geschlossener Test: kein Projekt, keine Werkzeuge, kein Verlauf über mehrere Schritte, sondern eine Frage und eine Antwort.

Neben der Trefferquote berichtet die Arbeit die Kalibrierung, also ob die vom Modell angegebene Sicherheit zur tatsächlichen Trefferquote passt. Zum Erscheinungszeitpunkt war beides schlecht: niedrige Genauigkeit bei gleichzeitig hoher behaupteter Sicherheit. Die Werte sind seither deutlich gestiegen, weshalb jede Zahl nur als Momentaufnahme mit Datum taugt.

## So kannst du dir das vorstellen

Stell dir eine Prüfung vor, zu der jeder Lehrstuhl seine drei fiesesten Fragen beisteuert, und zwar solche, die man auch mit Bibliothek nicht in fünf Minuten löst. Wer dort punktet, hat viel Fachwissen abrufbar. Das Bild erklärt den Schwierigkeitsgrad, es sagt nichts darüber, ob jemand damit auch arbeiten kann.

## Was es in der Praxis konkret bedeutet

Für die Auswahl eines Modells für deinen Anwendungsfall ist HLE fast nie das passende Maß. Die Fragen haben mit Alltagsarbeit wenig zu tun. Interessant ist der Test als Fortschrittsanzeige über die Zeit und als Hinweis darauf, wie selbstsicher ein Modell falsch liegt. Achte beim Lesen auf die Angabe, ob mit Werkzeugen oder Websuche gemessen wurde, denn das verschiebt die Werte erheblich.

## Wo es verwechselt wird

Der Name klingt nach einem Schlusspunkt, gemeint ist aber nur das Ende einer Gattung: geschlossene akademische Wissensfragen. Von GPQA unterscheidet sich HLE durch Breite und Fragetypen, nicht durch die Art der Aufgabe. [Rein et al.](https://arxiv.org/abs/2311.12022)

## Verwandte Begriffe

**Benchmark**, **GPQA**, **MMLU**, **Benchmark Contamination**, **Hallucination**, **Evaluation**.