IFEval

IFEval misst, ob ein Modell Formvorgaben einhält. Der Trick liegt in der Auswahl der Vorgaben: Verlangt wird nur, was ein kleines Programm nachprüfen kann, etwa „schreibe mehr als 400 Wörter" oder „nenne das Stichwort mindestens dreimal". Die Arbeit von 2023 benennt 25 solcher Anweisungstypen und rund 500 Prompts. Zhou et al.

Kein Mensch und kein zweites Modell urteilt mit

Genau darin liegt der Wert. Menschliche Bewertung ist teuer und schwer zu wiederholen, und ein bewertendes Modell bringt eigene Vorlieben mit, etwa für längere Antworten. Zheng et al. Bei einer Vorgabe wie „genau drei Absätze" braucht es beides nicht: Die Prüfung ist ein Abzählen und liefert bei jeder Wiederholung dasselbe Ergebnis.

Der Preis dafür ist der enge Zuschnitt. Ob der Text inhaltlich taugt, bleibt ungeprüft. Ein Modell kann alle Formvorgaben erfüllen und dabei Unsinn schreiben.

So kannst du dir das vorstellen

Eine Bewerbung, die auf Format geprüft wird: zwei Seiten, PDF, Datum oben rechts. Das lässt sich abhaken, ohne eine Zeile zu lesen. Ob der Bewerber passt, steht auf einem anderen Blatt. Das Bild erklärt die Trennung von Form und Inhalt, es setzt Formtreue nicht mit Qualität gleich.

Was es in der Praxis konkret bedeutet

Für automatisierte Abläufe ist Formtreue kein Nebenaspekt. Wenn die Ausgabe weiterverarbeitet wird, bricht ein zusätzlicher Absatz oder ein fehlendes Feld den nächsten Schritt. Für die Modellauswahl in solchen Pipelines ist IFEval deshalb aussagekräftiger als mancher Wissenstest. Den gleichen Gedanken kannst du übernehmen: Schreibe deine Formatanforderungen so, dass ein kurzes Skript sie prüfen kann.

Wo es verwechselt wird

Gemessen wird das Befolgen prüfbarer Vorgaben, nicht das Verstehen einer Aufgabe. Und IFEval ersetzt keine Strukturgarantie: Wer verlässlich gültiges JSON braucht, nutzt dafür erzwungene Ausgabeformate statt einer Anweisung im Prompt.

Verwandte Begriffe

Structured Output, LLM-as-a-Judge, Automatic Evaluation, System Prompt, Benchmark, Evaluation.