Reward Model

Ein Reward Model ist ein trainiertes Modell, das Antworten oder Verhalten bewertet und daraus ein Belohnungssignal ableitet. Ouyang et al.: InstructGPT Beim klassischen RLHF für Sprachmodelle lernt es beispielsweise aus menschlichen Vergleichen, welche Antwort auf eine Anfrage bevorzugt wird. Ouyang et al.: InstructGPT

Vom Vergleich zum Zahlenwert

In der InstructGPT-Pipeline erhält das Reward Model eine Anfrage zusammen mit einer Antwort und gibt dafür einen einzelnen Zahlenwert aus. Ouyang et al.: InstructGPT Beim Training soll eine von Menschen bevorzugte Antwort höher bewertet werden als eine weniger bevorzugte Alternative derselben Anfrage. Ouyang et al.: InstructGPT

Anschließend erzeugt das antwortende Sprachmodell weitere Texte, deren Bewertungen zur Anpassung seiner Parameter verwendet werden. Ouyang et al.: InstructGPT Das Reward Model übernimmt damit die bewertende Rolle, während die sogenannte Policy das zu optimierende Antwortverhalten erzeugt. Ouyang et al.: InstructGPT

Ein gelerntes Reward Model ist nicht dasselbe wie eine fest programmierte Ergebnisprüfung: Bei RL mit überprüfbaren Belohnungen kann eine solche Prüffunktion das gelernte Bewertungsmodell ersetzen. Allen AI: Tülu 3 Auch direktes Präferenztraining mit DPO benötigt in seiner Standardform kein separates Reward Model. Rafailov et al.: DPO

So kannst du dir das vorstellen

Du lässt in einem hypothetischen Projekt mehrere Fachleute Paare von Angebotsantworten vergleichen. Sie wählen jeweils die Variante, die verständlicher ist und keine unbelegten Versprechen enthält.

Aus vielen solchen Vergleichen soll ein Bewertungsmodell lernen, neue Antworten ähnlich einzuordnen. Es wäre bildlich gesprochen ein nachgebildeter Bewertungsmaßstab, kein zusätzliches Teammitglied mit eigener Verantwortung.

Wenn die Vergleichsdaten vor allem besonders höfliche Texte bevorzugen, solltest du anschließend gezielt prüfen, ob sachliche Fehler trotzdem ausreichend abgestraft werden. Das Beispiel verdeutlicht, warum die Bewertungsregeln zur eigentlichen Aufgabe passen müssen.

Bewertung ist nicht Wahrheit

Die Präferenzen der beteiligten Menschen bilden keine vollständige oder universelle Definition guten Verhaltens. Ouyang et al.: InstructGPT Zudem kann eine starke Optimierung gegen ein unvollkommenes Reward Model dessen Schwächen ausnutzen, weshalb die InstructGPT-Arbeit die Abweichung von einem Referenzmodell begrenzt. Ouyang et al.: InstructGPT

Verwandte Begriffe

Reward, RLHF, DPO, Process Reward Model, Outcome Reward Model.