MT-Bench

MT-Bench ist ein Satz von 80 Fragen, die jeweils aus zwei aufeinander aufbauenden Teilen bestehen. Die zweite Frage bezieht sich auf die erste Antwort, womit sich prüfen lässt, ob ein Modell den Faden hält statt jede Nachricht für sich zu behandeln. Zheng et al.

Der Test war vor allem ein Beleg für das Bewertungsverfahren

Bekannt wurde MT-Bench weniger wegen seiner Aufgaben als wegen der Frage, wer sie benotet. Dieselbe Arbeit ließ die Antworten von starken Sprachmodellen bewerten und verglich deren Urteile mit denen von 58 geschulten Personen. Die Übereinstimmung lag über achtzig Prozent, also etwa auf dem Niveau, das Menschen untereinander erreichen. Das machte die Bewertung durch ein Modell zu einem akzeptierten Verfahren.

Mit 80 Fragen ist der Test klein, und die Bewertung auf einer Zehnerskala läuft bei starken Modellen in eine Decke. Für Vergleiche aktueller Modelle taugt er deshalb nicht mehr.

So kannst du dir das vorstellen

Ein Vorstellungsgespräch mit Rückfrage: Die zweite Frage prüft, ob die erste Antwort durchdacht war. Wer den Bezug verliert, fällt auf. Das Bild erklärt den Zweisprung der Aufgaben, es beschreibt keine konkrete Frage aus dem Satz.

Was es in der Praxis konkret bedeutet

Den Test selbst brauchst du nicht. Sein Aufbau ist trotzdem eine brauchbare Vorlage, wenn du eigene Prüfungen aufsetzt: wenige, sorgfältig geschriebene Aufgaben mit Nachfrage, bewertet nach festen Kriterien, und die Bewertung einmal gegen menschliche Urteile abgeglichen. Genau dieser Abgleich fehlt in den meisten selbstgebauten Prüfungen.

Wo es verwechselt wird

MT-Bench und Chatbot Arena stammen aus derselben Arbeit und messen Verschiedenes. Hier bewerten Modelle nach Kriterien, dort wählen Menschen zwischen zwei Antworten. Chiang et al.

Verwandte Begriffe

LLM-as-a-Judge, Chatbot Arena, Multi-Turn, Human Evaluation, Evaluation, Benchmark.