Direct Preference Optimization

Direct Preference Optimization, kurz DPO, passt ein Sprachmodell direkt anhand bevorzugter und weniger bevorzugter Antworten an. Rafailov et al.: DPO In seiner ursprünglichen Form benötigt das Verfahren weder ein separat trainiertes Reward Model noch die zusätzliche RL-Optimierungsschleife einer klassischen RLHF-Pipeline. Rafailov et al.: DPO

Präferenzpaare direkt verwenden

Die Trainingsdaten enthalten eine Anfrage sowie eine bevorzugte und eine abgelehnte Antwort darauf. Rafailov et al.: DPO DPO verwendet die Wahrscheinlichkeiten dieser beiden Antworten unter dem anzupassenden Modell und einem Referenzmodell, das typischerweise bereits überwacht angepasst wurde. Rafailov et al.: DPO

Das Trainingsziel begünstigt die bevorzugte Antwort relativ zur abgelehnten Antwort und berücksichtigt dabei die Veränderung gegenüber der Referenz. Rafailov et al.: DPO Es handelt sich deshalb nicht einfach um überwachte Anpassung ausschließlich an den ausgewählten Gewinnerantworten. Rafailov et al.: DPO

Die ursprüngliche Methode arbeitet mit vorhandenen Präferenzdaten und muss während dieser Anpassung keine neuen Antworten des jeweils aktuellen Modells für eine zusätzliche RL-Lernschleife erzeugen. Rafailov et al.: DPO Die vorbereiteten Antwortpaare können selbstverständlich schon zuvor von einem Modell erzeugt und anschließend bewertet worden sein. Rafailov et al.: DPO

So kannst du dir das vorstellen

Angenommen, du hast für einen hypothetischen Serviceassistenten viele Antwortpaare gesammelt. In einem Paar erklärt die bevorzugte Antwort sachlich eine Lieferverzögerung, während die abgelehnte Antwort einen ungeprüften Liefertermin verspricht.

Für DPO würde dieses Paar direkt in das Anpassungsziel eingehen. Im Unterschied zur klassischen RLHF-Analogie müsstest du nicht zuerst einen separaten automatischen Bewerter aus diesen Urteilen trainieren.

Das bedeutet allerdings nicht, dass du nur die bessere Antwort aufbewahren könntest. Gerade die Gegenüberstellung ist Teil des hier beschriebenen Lernsignals.

Einfacherer Ablauf, keine Wahrheitsgarantie

Die Herleitung von DPO verbindet Präferenzoptimierung mit einer Belohnungsformulierung und einer Begrenzung der Abweichung von der Referenz. Rafailov et al.: DPO Das dabei mathematisch beschriebene implizite Belohnungssignal ist kein zusätzliches, separat eingesetztes Reward Model. Rafailov et al.: DPO

Die Forschungsarbeit begründet zudem keinen universellen Leistungsvorsprung für sämtliche Aufgaben und Datensätze. Rafailov et al.: DPO Für eine eigene Anwendung würde ich deshalb unabhängig prüfen, ob das angepasste Modell die gewünschten fachlichen Kriterien erfüllt, statt nur eine günstigere Präferenzbewertung zu betrachten.

Verwandte Begriffe

Preference Alignment, RLHF, Reward Model, KL Penalty, Supervised Fine-Tuning.