Alignment, Präferenzlernen und Reinforcement Learning
Outcome Reward Model
Heißt auch ORM.
Bewertung des Gesamtergebnisses oder vollständigen Lösungswegs.
Ein Outcome Reward Model, kurz ORM, ist ein gelerntes Bewertungsmodell, dessen Trainingsfeedback sich auf das Ergebnis einer vollständigen Lösung bezieht. Lightman et al.: Let's Verify Step by Step Im mathematischen Beispiel von „Let's Verify Step by Step“ lernt es vorherzusagen, ob eine erzeugte Lösung insgesamt als richtig oder falsch bewertet wird. Lightman et al.: Let's Verify Step by Step
Endbewertung statt Schrittetiketten
Die Trainingslabels können dort durch einen automatischen Abgleich der Endantwort mit dem bekannten Ergebnis entstehen. Lightman et al.: Let's Verify Step by Step Anders als bei einem Process Reward Model erhalten einzelne Zwischenschritte dabei keine jeweils eigenen Korrektheitsurteile. Lightman et al.: Let's Verify Step by Step
Das bedeutet nicht, dass ein ORM ausschließlich die letzte Zahl als Eingabe sehen muss. Lightman et al.: Let's Verify Step by Step In der beschriebenen Umsetzung verarbeitet es den Lösungstext und verwendet bei der Auswahl eines Kandidaten seine Vorhersage am letzten Token als Gesamtbewertung. Lightman et al.: Let's Verify Step by Step
„Outcome“ bezeichnet hier also vor allem die Ebene des Trainingsfeedbacks, nicht eine Vorschrift, den gesamten vorherigen Text auszublenden. Lightman et al.: Let's Verify Step by Step Das ist wichtig, wenn Beschreibungen verkürzt von einem Modell sprechen, das „nur auf das Ergebnis schaut“. Lightman et al.: Let's Verify Step by Step
So kannst du dir das vorstellen
Angenommen, ein hypothetischer Assistent berechnet mehrfach die benötigte Materialmenge für einen Auftrag. Für jede vollständige Lösung wird gespeichert, ob die Endmenge mit einer bekannten Referenz übereinstimmt.
Ein ORM könnte aus solchen Beispielen lernen, neue Lösungsvorschläge zu bewerten. Es erhält in diesem vereinfachten Aufbau jedoch keine gesonderte Rückmeldung darüber, ob etwa die Flächenberechnung richtig war und erst die anschließende Umrechnung schiefging.
Du kannst dir das wie eine Prüfungsnote ohne Korrekturzeichen im Rechenweg vorstellen. Die Note enthält Information, aber weniger genaue Hinweise auf die Fehlerstelle.
Richtiges Ergebnis, falscher Weg
Ein zentrales Problem der Endantwortprüfung ist, dass auch fehlerhafte Rechenwege zufällig zur richtigen Endantwort führen können. Lightman et al.: Let's Verify Step by Step Ein darauf beruhendes positives Trainingslabel bescheinigt deshalb nicht automatisch korrekte Zwischenschritte. Lightman et al.: Let's Verify Step by Step
Ein ORM ist außerdem ein gelerntes Vorhersagemodell und nicht mit der exakten Prüffunktion gleichzusetzen, die seine Trainingslabels erzeugt hat. Lightman et al.: Let's Verify Step by Step In der genannten Arbeit dient seine Vorhersage dazu, unter mehreren neuen Lösungsvorschlägen den am besten bewerteten auszuwählen. Lightman et al.: Let's Verify Step by Step