Alignment, Präferenzlernen und Reinforcement Learning
Reinforcement Learning from Human Feedback
Heißt auch RLHF.
Modellanpassung mit Belohnungssignalen aus menschlichen Präferenzen.
Reinforcement Learning from Human Feedback, kurz RLHF, nutzt menschliche Rückmeldungen, um das Verhalten eines Modells mit bestärkendem Lernen anzupassen. Ouyang et al.: InstructGPT Bei Sprachassistenten bestehen diese Rückmeldungen beispielsweise aus Bewertungen oder Rangfolgen mehrerer Antworten auf dieselbe Anfrage. Ouyang et al.: InstructGPT
Die klassische Sprachmodell-Pipeline
InstructGPT beschreibt einen Ablauf mit drei aufeinander aufbauenden Trainingsphasen. Ouyang et al.: InstructGPT Zunächst wird das Modell anhand menschlich verfasster Beispielantworten angepasst; dieser Schritt heißt Supervised Fine-Tuning, also Lernen an vorgegebenen Beispielen. Ouyang et al.: InstructGPT
Danach vergleichen Menschen mehrere erzeugte Antworten, und ein separates Reward Model lernt aus ihren Präferenzen einen Bewertungsmaßstab. Ouyang et al.: InstructGPT Im anschließenden RL-Schritt erzeugt das Sprachmodell weitere Antworten und wird darauf optimiert, höhere Bewertungen dieses Modells zu erhalten. Ouyang et al.: InstructGPT
Die Menschen müssen dabei nicht jede einzelne während des RL-Trainings erzeugte Antwort unmittelbar beurteilen, weil das gelernte Reward Model diese Bewertung übernimmt. Ouyang et al.: InstructGPT In der beschriebenen Umsetzung erfolgt die Anpassung mit PPO und einer zusätzlichen Strafe für zu starke Abweichungen von einem Referenzmodell. Ouyang et al.: InstructGPT
So kannst du dir das vorstellen
Stell dir ein hypothetisches Training für einen Schreibassistenten vor. Zunächst zeigen Redakteure gute Antworten; anschließend vergleichen sie mehrere Entwürfe und markieren, welcher verständlicher und zuverlässiger ist.
Ein Bewertungsmodell soll aus diesen Vergleichen lernen. Der Schreibassistent erzeugt danach neue Entwürfe und wird mithilfe dieses erlernten Maßstabs weiter angepasst.
Die Analogie macht auch die Zuständigkeiten sichtbar: Beispiele vorführen, Antworten bewerten und das antwortende Modell optimieren sind verschiedene Schritte. Eine einzelne positive Chatbewertung bildet diese gesamte Trainingskette noch nicht ab.
Menschliches Feedback hat Grenzen
Das Ergebnis hängt unter anderem davon ab, wer bewertet und welche Anweisungen diese Personen erhalten. Ouyang et al.: InstructGPT Die InstructGPT-Arbeit berichtet trotz Verbesserungen weiterhin fehlerhafte und problematische Ausgaben; RLHF ist daher keine Garantie für Wahrheit oder Sicherheit. Ouyang et al.: InstructGPT
Auch sollte RLHF nicht mit jeder Form von Präferenztraining gleichgesetzt werden: DPO optimiert Präferenzpaare ohne die separate RL-Schleife der klassischen Pipeline. Rafailov et al.: DPO