Evaluation

Evaluation, im Sprachgebrauch oft Evals, ist das systematische Prüfen, wie gut ein Modell oder ein System eine Aufgabe erfüllt. Systematisch heißt: feste Aufgaben, ein festgelegtes Vorgehen und eine Bewertung, die sich wiederholen lässt. Damit unterscheidet sich Evaluation vom Ausprobieren, bei dem einzelne gelungene Antworten den Eindruck bestimmen.

Eine Zahl reicht nicht

Ein breit angelegtes Vorhaben zur Bewertung von Sprachmodellen hat dafür einen Mehrgrößenansatz vorgeschlagen: Für jedes Szenario werden mehrere Kennzahlen nebeneinander erhoben, darunter Genauigkeit, Robustheit, Verzerrung und Effizienz. Der Grund ist, dass Genauigkeit allein die Eigenschaften verdeckt, die im Einsatz zählen. Liang et al.

Für zusammengesetzte Systeme gilt das erst recht. Bei einem RAG-System lassen sich Abruf und Formulierung getrennt bewerten, und nur die getrennte Messung zeigt, woran es liegt. Es et al.: Ragas

So kannst du dir das vorstellen

Evaluation ist die Fahrprüfung, nicht die Probefahrt. Bei der Probefahrt merkt man, ob das Auto sich gut anfühlt. Bei der Prüfung fährt jeder dieselbe Strecke, und die Bewertung ist nachvollziehbar. Das Bild erklärt den Unterschied zwischen Eindruck und Messung, es sagt nichts über die Güte einer bestimmten Prüfung.

Was es in der Praxis bedeutet

Der wichtigste Schritt ist der erste: eine Sammlung echter Aufgaben aus dem eigenen Anwendungsfall, mit dem, was als gute Antwort gilt. Dreißig gut ausgewählte Fälle bringen mehr als ein bekannter Benchmark, der eine andere Aufgabe misst.

Nützlich ist außerdem, jede Änderung gegen dieselbe Sammlung laufen zu lassen, auch die vermeintlich kleinen am Prompt. Ohne diesen Vergleich verbessert man an einer Stelle und verschlechtert an einer anderen, ohne es zu merken.

Wo es verwechselt wird

Evaluation ist nicht dasselbe wie ein Benchmark: Der Benchmark ist ein fertiger Test für den Vergleich zwischen Modellen, die Evaluation der Vorgang, der auch eigene Aufgaben umfassen kann. Und gute Werte in einer Evaluation sagen nur etwas über die geprüften Fälle.

Verwandte Begriffe

Benchmark, Golden Dataset, Human Evaluation, Automatic Evaluation, LLM-as-a-Judge, Online Evaluation.