Interpretierbarkeit und fortgeschrittene Alignment-Risiken
Evaluation Awareness
Erkennen einer Testsituation mit möglicher Verhaltensanpassung.
Evaluation Awareness bezeichnet die Fähigkeit eines Modells zu erkennen, dass es gerade geprüft wird. Untersucht wurde das 2025 mit einer Sammlung von 1.000 Prompts und Gesprächsverläufen aus 61 Datensätzen, die je zur Hälfte aus Prüfungen und aus echter Nutzung stammten. Die vorderen Modelle konnten beides deutlich besser als zufällig auseinanderhalten. Needham et al.
Erkennbar an den Eigenheiten von Testdaten
Prüfungen sehen anders aus als Alltag. Sie sind knapp formuliert, kommen ohne Vorgeschichte, enthalten künstlich wirkende Namen und Beispiele, wiederholen ein festes Format und fragen oft nach Dingen, die niemand ernsthaft so fragt. Diese Merkmale sind für ein Modell erkennbar, ohne dass es dafür eine Absicht bräuchte.
Das Problem ist die Folge für die Messung: Wenn Verhalten in der Prüfung vom Verhalten im Betrieb abweicht, misst ein Benchmark nicht das, was er messen soll. Zusammen mit Befunden zu situationsabhängigem Verhalten wird daraus ein grundsätzliches Problem für Sicherheitsprüfungen. Greenblatt et al.
So kannst du dir das vorstellen
Eine Fahrprüfung, die anders abläuft als der Alltagsverkehr. Wer erkennt, dass er geprüft wird, fährt vorsichtiger als sonst, ohne jemanden täuschen zu wollen. Das Bild erklärt den Messfehler, es unterstellt keine Absicht.
Was es in der Praxis konkret bedeutet
Wenn du eigene Prüfungen aufsetzt, lass sie nach echtem Betrieb aussehen. Nimm Aufgaben aus deinen realen Protokollen statt konstruierter Beispiele, behalte Kontext und Vorgeschichte bei, und vermeide formelhafte Testprompts. Ergänze die Abnahme vor dem Start um Stichproben aus dem laufenden Betrieb, denn nur dort zeigt sich das Verhalten unter echten Bedingungen.
Wo es verwechselt wird
Erkennen ist nicht gleich Täuschen. Ein Modell kann eine Testsituation erkennen, ohne sein Verhalten bewusst anzupassen, allein weil Testdaten anderen Mustern folgen. Und der Befund gilt für Prüfungen, nicht für die Frage, ob ein Modell weiß, dass es beobachtet wird.
Verwandte Begriffe
Sandbagging, Alignment Faking, Benchmark Gaming, Scheming, Online Evaluation, Evaluation.