---
term: "Direct Preference Optimization"
slug: "dpo"
glossar_id: "G149"
variants: ["DPO"]
category: "alignment-praeferenzlernen-und-reinforcement-learning"
marker: "Technik"
short: "Direkte Präferenzoptimierung ohne separates Reward-Modell in der Standardform."
redirects: ["direct-preference-optimization"]
sources:
  - label: "Rafailov et al.: DPO"
    url: "https://arxiv.org/pdf/2305.18290"
status: "entwurf"
updated: "2026-09-20"
---

Direct Preference Optimization, kurz DPO, passt ein Sprachmodell direkt anhand bevorzugter und weniger bevorzugter Antworten an. [Rafailov et al.: DPO](https://arxiv.org/pdf/2305.18290) In seiner ursprünglichen Form benötigt das Verfahren weder ein separat trainiertes Reward Model noch die zusätzliche RL-Optimierungsschleife einer klassischen RLHF-Pipeline. [Rafailov et al.: DPO](https://arxiv.org/pdf/2305.18290)

## Präferenzpaare direkt verwenden

Die Trainingsdaten enthalten eine Anfrage sowie eine bevorzugte und eine abgelehnte Antwort darauf. [Rafailov et al.: DPO](https://arxiv.org/pdf/2305.18290) DPO verwendet die Wahrscheinlichkeiten dieser beiden Antworten unter dem anzupassenden Modell und einem Referenzmodell, das typischerweise bereits überwacht angepasst wurde. [Rafailov et al.: DPO](https://arxiv.org/pdf/2305.18290)

Das Trainingsziel begünstigt die bevorzugte Antwort relativ zur abgelehnten Antwort und berücksichtigt dabei die Veränderung gegenüber der Referenz. [Rafailov et al.: DPO](https://arxiv.org/pdf/2305.18290) Es handelt sich deshalb nicht einfach um überwachte Anpassung ausschließlich an den ausgewählten Gewinnerantworten. [Rafailov et al.: DPO](https://arxiv.org/pdf/2305.18290)

Die ursprüngliche Methode arbeitet mit vorhandenen Präferenzdaten und muss während dieser Anpassung keine neuen Antworten des jeweils aktuellen Modells für eine zusätzliche RL-Lernschleife erzeugen. [Rafailov et al.: DPO](https://arxiv.org/pdf/2305.18290) Die vorbereiteten Antwortpaare können selbstverständlich schon zuvor von einem Modell erzeugt und anschließend bewertet worden sein. [Rafailov et al.: DPO](https://arxiv.org/pdf/2305.18290)

## So kannst du dir das vorstellen

Angenommen, du hast für einen hypothetischen Serviceassistenten viele Antwortpaare gesammelt. In einem Paar erklärt die bevorzugte Antwort sachlich eine Lieferverzögerung, während die abgelehnte Antwort einen ungeprüften Liefertermin verspricht.

Für DPO würde dieses Paar direkt in das Anpassungsziel eingehen. Im Unterschied zur klassischen RLHF-Analogie müsstest du nicht zuerst einen separaten automatischen Bewerter aus diesen Urteilen trainieren.

Das bedeutet allerdings nicht, dass du nur die bessere Antwort aufbewahren könntest. Gerade die Gegenüberstellung ist Teil des hier beschriebenen Lernsignals.

## Einfacherer Ablauf, keine Wahrheitsgarantie

Die Herleitung von DPO verbindet Präferenzoptimierung mit einer Belohnungsformulierung und einer Begrenzung der Abweichung von der Referenz. [Rafailov et al.: DPO](https://arxiv.org/pdf/2305.18290) Das dabei mathematisch beschriebene implizite Belohnungssignal ist kein zusätzliches, separat eingesetztes Reward Model. [Rafailov et al.: DPO](https://arxiv.org/pdf/2305.18290)

Die Forschungsarbeit begründet zudem keinen universellen Leistungsvorsprung für sämtliche Aufgaben und Datensätze. [Rafailov et al.: DPO](https://arxiv.org/pdf/2305.18290) Für eine eigene Anwendung würde ich deshalb unabhängig prüfen, ob das angepasste Modell die gewünschten fachlichen Kriterien erfüllt, statt nur eine günstigere Präferenzbewertung zu betrachten.

## Verwandte Begriffe

**Preference Alignment**, **RLHF**, **Reward Model**, **KL Penalty**, **Supervised Fine-Tuning**.