---
term: "Reinforcement Learning from Human Feedback"
slug: "rlhf"
glossar_id: "G145"
variants: ["RLHF"]
category: "alignment-praeferenzlernen-und-reinforcement-learning"
marker: ""
short: "Modellanpassung mit Belohnungssignalen aus menschlichen Präferenzen."
redirects: ["reinforcement-learning-from-human-feedback"]
sources:
  - label: "Ouyang et al.: InstructGPT"
    url: "https://arxiv.org/pdf/2203.02155"
  - label: "Rafailov et al.: DPO"
    url: "https://arxiv.org/pdf/2305.18290"
status: "entwurf"
updated: "2026-09-20"
---

Reinforcement Learning from Human Feedback, kurz RLHF, nutzt menschliche Rückmeldungen, um das Verhalten eines Modells mit bestärkendem Lernen anzupassen. [Ouyang et al.: InstructGPT](https://arxiv.org/pdf/2203.02155) Bei Sprachassistenten bestehen diese Rückmeldungen beispielsweise aus Bewertungen oder Rangfolgen mehrerer Antworten auf dieselbe Anfrage. [Ouyang et al.: InstructGPT](https://arxiv.org/pdf/2203.02155)

## Die klassische Sprachmodell-Pipeline

InstructGPT beschreibt einen Ablauf mit drei aufeinander aufbauenden Trainingsphasen. [Ouyang et al.: InstructGPT](https://arxiv.org/pdf/2203.02155) Zunächst wird das Modell anhand menschlich verfasster Beispielantworten angepasst; dieser Schritt heißt Supervised Fine-Tuning, also Lernen an vorgegebenen Beispielen. [Ouyang et al.: InstructGPT](https://arxiv.org/pdf/2203.02155)

Danach vergleichen Menschen mehrere erzeugte Antworten, und ein separates Reward Model lernt aus ihren Präferenzen einen Bewertungsmaßstab. [Ouyang et al.: InstructGPT](https://arxiv.org/pdf/2203.02155) Im anschließenden RL-Schritt erzeugt das Sprachmodell weitere Antworten und wird darauf optimiert, höhere Bewertungen dieses Modells zu erhalten. [Ouyang et al.: InstructGPT](https://arxiv.org/pdf/2203.02155)

Die Menschen müssen dabei nicht jede einzelne während des RL-Trainings erzeugte Antwort unmittelbar beurteilen, weil das gelernte Reward Model diese Bewertung übernimmt. [Ouyang et al.: InstructGPT](https://arxiv.org/pdf/2203.02155) In der beschriebenen Umsetzung erfolgt die Anpassung mit PPO und einer zusätzlichen Strafe für zu starke Abweichungen von einem Referenzmodell. [Ouyang et al.: InstructGPT](https://arxiv.org/pdf/2203.02155)

## So kannst du dir das vorstellen

Stell dir ein hypothetisches Training für einen Schreibassistenten vor. Zunächst zeigen Redakteure gute Antworten; anschließend vergleichen sie mehrere Entwürfe und markieren, welcher verständlicher und zuverlässiger ist.

Ein Bewertungsmodell soll aus diesen Vergleichen lernen. Der Schreibassistent erzeugt danach neue Entwürfe und wird mithilfe dieses erlernten Maßstabs weiter angepasst.

Die Analogie macht auch die Zuständigkeiten sichtbar: Beispiele vorführen, Antworten bewerten und das antwortende Modell optimieren sind verschiedene Schritte. Eine einzelne positive Chatbewertung bildet diese gesamte Trainingskette noch nicht ab.

## Menschliches Feedback hat Grenzen

Das Ergebnis hängt unter anderem davon ab, wer bewertet und welche Anweisungen diese Personen erhalten. [Ouyang et al.: InstructGPT](https://arxiv.org/pdf/2203.02155) Die InstructGPT-Arbeit berichtet trotz Verbesserungen weiterhin fehlerhafte und problematische Ausgaben; RLHF ist daher keine Garantie für Wahrheit oder Sicherheit. [Ouyang et al.: InstructGPT](https://arxiv.org/pdf/2203.02155)

Auch sollte RLHF nicht mit jeder Form von Präferenztraining gleichgesetzt werden: DPO optimiert Präferenzpaare ohne die separate RL-Schleife der klassischen Pipeline. [Rafailov et al.: DPO](https://arxiv.org/pdf/2305.18290)

## Verwandte Begriffe

**Supervised Fine-Tuning**, **Reward Model**, **PPO**, **RLAIF**, **DPO**.