---
term: "Automatic Evaluation"
slug: "automatic-evaluation"
glossar_id: "G327"
variants: []
category: "evaluation-messgroessen-und-benchmark-fallen"
marker: ""
short: "Automatisierte Bewertung von Modellausgaben."
sources:
  - label: "Liang et al.: Holistic Evaluation of Language Models"
    url: "https://arxiv.org/abs/2211.09110"
  - label: "Zheng et al.: Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena"
    url: "https://arxiv.org/abs/2306.05685"
status: "entwurf"
updated: "2026-09-21"
---

Automatic Evaluation bewertet Modellausgaben ohne menschliches Urteil im Einzelfall. Das reicht vom Abgleich mit einer erwarteten Antwort über Überlappungsmaße und Testläufe von erzeugtem Code bis zur Bewertung durch ein anderes Modell.

## Der Vorteil ist Wiederholbarkeit

Automatische Bewertung ist billig, schnell und liefert bei gleicher Eingabe dasselbe Ergebnis. Genau deshalb lässt sie sich bei jeder Änderung erneut laufen lassen, was für die Entwicklung entscheidend ist: Ohne Wiederholbarkeit merkt niemand, wenn eine Verbesserung an einer Stelle woanders etwas kaputtmacht. Dass Bewertungen mehrere Kennzahlen nebeneinander erheben sollten, gehört dabei zum Stand der Praxis. [Liang et al.](https://arxiv.org/abs/2211.09110)

Die Grenze liegt in dem, was sich automatisch prüfen lässt. Für offene Antworten sind einfache Maße schwach, weshalb Bewertungen durch Modelle an Bedeutung gewonnen haben, samt ihrer bekannten Verzerrungen. [Zheng et al.](https://arxiv.org/abs/2306.05685)

## So kannst du dir das vorstellen

Automatische Bewertung ist der Multiple-Choice-Test, menschliche Bewertung die mündliche Prüfung. Der Test lässt sich tausendfach durchführen und misst nur, was sich ankreuzen lässt. Das Bild erklärt den Zuschnitt, es wertet keines der Verfahren ab.

## Was es in der Praxis bedeutet

Sinnvoll ist eine Staffelung. Harte Prüfungen zuerst, weil sie eindeutig sind: Hat die Antwort das geforderte Format? Enthält sie die Pflichtangabe? Läuft der erzeugte Code? Erst danach die weichen Urteile, und die menschliche Prüfung nur für die Fälle, die wirklich strittig sind.

Wichtig ist, die automatische Bewertung selbst zu prüfen. Nimm dreißig Fälle, lass sie von Menschen beurteilen und vergleiche mit der Maschine. Erst wenn beide oft genug übereinstimmen, darfst du den Zahlen trauen.

## Wo es verwechselt wird

Automatische Bewertung ist nicht objektiver als menschliche, sie ist nur wiederholbarer. Und eine hohe Punktzahl nach einem Überlappungsmaß sagt wenig über die fachliche Richtigkeit.

## Verwandte Begriffe

**LLM-as-a-Judge**, **Autorater**, **Human Evaluation**, **Exact Match**, **BLEU**, **Evaluation**.