LLM-as-a-Judge

LLM-as-a-Judge heißt, ein Sprachmodell die Ausgaben eines anderen bewerten zu lassen. Der Anlass ist der Mangel an Alternativen: Offene Antworten lassen sich mit einfachen Maßen kaum beurteilen, und menschliche Bewertung ist teuer. In der Untersuchung, die den Ansatz bekannt gemacht hat, erreichten starke Modelle als Bewerter über achtzig Prozent Übereinstimmung mit menschlichen Urteilen, also etwa so viel wie Menschen untereinander. Zheng et al.

Die Verzerrungen sind bekannt und benannt

Dieselbe Arbeit führt die Schwächen auf: eine Vorliebe für die zuerst gezeigte Antwort, eine Vorliebe für längere Antworten und eine Neigung, eigene Ausgaben besser zu bewerten. Dazu kommt begrenzte Fähigkeit, komplexe fachliche Zusammenhänge wirklich zu prüfen.

Gegenmittel sind bekannt: beide Reihenfolgen durchlaufen lassen und mitteln, klare Bewertungskriterien statt eines allgemeinen „wie gut ist das", und ein anderes Modell als das geprüfte. Für Systeme mit Abruf werden auf diese Weise auch einzelne Eigenschaften gemessen, etwa ob die Antwort vom Kontext gedeckt ist. Es et al.: Ragas

So kannst du dir das vorstellen

Ein Kollege korrigiert die Arbeit eines anderen Kollegen, nach derselben Ausbildung und mit denselben blinden Flecken. Das geht schnell und trifft oft, ersetzt aber keine unabhängige Prüfung. Das Bild erklärt die Abhängigkeit, es spricht dem Verfahren den Nutzen nicht ab.

Was es in der Praxis bedeutet

Für den Alltag ist das Verfahren brauchbar, wenn drei Dinge stimmen: enge Kriterien, ein Vergleich mit menschlichen Urteilen auf einer Stichprobe und der Verzicht darauf, das eigene Modell sich selbst bewerten zu lassen.

Nicht geeignet ist es als alleinige Grundlage für Entscheidungen mit Folgen, etwa Freigaben in regulierten Bereichen. Dort bleibt es eine Vorsortierung, die einem Menschen die Arbeit erleichtert.

Wo es verwechselt wird

Ein bewertendes Modell prüft nicht die Wahrheit, sondern vergleicht mit Kriterien oder mit einer Referenz. Und hohe Übereinstimmung mit Menschen in einer Untersuchung gilt für deren Aufgaben, nicht automatisch für deine.

Verwandte Begriffe

Autorater, Automatic Evaluation, Human Evaluation, Pairwise Evaluation, Groundedness, Evaluator Agent.