---
term: "Outcome Reward Model"
slug: "outcome-reward-model"
glossar_id: "G154"
variants: ["ORM"]
category: "alignment-praeferenzlernen-und-reinforcement-learning"
marker: "Technik"
short: "Bewertung des Gesamtergebnisses oder vollständigen Lösungswegs."
sources:
  - label: "Lightman et al.: Let's Verify Step by Step"
    url: "https://cdn.openai.com/improving-mathematical-reasoning-with-process-supervision/Lets_Verify_Step_by_Step.pdf"
status: "entwurf"
updated: "2026-09-20"
---

Ein Outcome Reward Model, kurz ORM, ist ein gelerntes Bewertungsmodell, dessen Trainingsfeedback sich auf das Ergebnis einer vollständigen Lösung bezieht. [Lightman et al.: Let's Verify Step by Step](https://cdn.openai.com/improving-mathematical-reasoning-with-process-supervision/Lets_Verify_Step_by_Step.pdf) Im mathematischen Beispiel von „Let's Verify Step by Step“ lernt es vorherzusagen, ob eine erzeugte Lösung insgesamt als richtig oder falsch bewertet wird. [Lightman et al.: Let's Verify Step by Step](https://cdn.openai.com/improving-mathematical-reasoning-with-process-supervision/Lets_Verify_Step_by_Step.pdf)

## Endbewertung statt Schrittetiketten

Die Trainingslabels können dort durch einen automatischen Abgleich der Endantwort mit dem bekannten Ergebnis entstehen. [Lightman et al.: Let's Verify Step by Step](https://cdn.openai.com/improving-mathematical-reasoning-with-process-supervision/Lets_Verify_Step_by_Step.pdf) Anders als bei einem Process Reward Model erhalten einzelne Zwischenschritte dabei keine jeweils eigenen Korrektheitsurteile. [Lightman et al.: Let's Verify Step by Step](https://cdn.openai.com/improving-mathematical-reasoning-with-process-supervision/Lets_Verify_Step_by_Step.pdf)

Das bedeutet nicht, dass ein ORM ausschließlich die letzte Zahl als Eingabe sehen muss. [Lightman et al.: Let's Verify Step by Step](https://cdn.openai.com/improving-mathematical-reasoning-with-process-supervision/Lets_Verify_Step_by_Step.pdf) In der beschriebenen Umsetzung verarbeitet es den Lösungstext und verwendet bei der Auswahl eines Kandidaten seine Vorhersage am letzten Token als Gesamtbewertung. [Lightman et al.: Let's Verify Step by Step](https://cdn.openai.com/improving-mathematical-reasoning-with-process-supervision/Lets_Verify_Step_by_Step.pdf)

„Outcome“ bezeichnet hier also vor allem die Ebene des Trainingsfeedbacks, nicht eine Vorschrift, den gesamten vorherigen Text auszublenden. [Lightman et al.: Let's Verify Step by Step](https://cdn.openai.com/improving-mathematical-reasoning-with-process-supervision/Lets_Verify_Step_by_Step.pdf) Das ist wichtig, wenn Beschreibungen verkürzt von einem Modell sprechen, das „nur auf das Ergebnis schaut“. [Lightman et al.: Let's Verify Step by Step](https://cdn.openai.com/improving-mathematical-reasoning-with-process-supervision/Lets_Verify_Step_by_Step.pdf)

## So kannst du dir das vorstellen

Angenommen, ein hypothetischer Assistent berechnet mehrfach die benötigte Materialmenge für einen Auftrag. Für jede vollständige Lösung wird gespeichert, ob die Endmenge mit einer bekannten Referenz übereinstimmt.

Ein ORM könnte aus solchen Beispielen lernen, neue Lösungsvorschläge zu bewerten. Es erhält in diesem vereinfachten Aufbau jedoch keine gesonderte Rückmeldung darüber, ob etwa die Flächenberechnung richtig war und erst die anschließende Umrechnung schiefging.

Du kannst dir das wie eine Prüfungsnote ohne Korrekturzeichen im Rechenweg vorstellen. Die Note enthält Information, aber weniger genaue Hinweise auf die Fehlerstelle.

## Richtiges Ergebnis, falscher Weg

Ein zentrales Problem der Endantwortprüfung ist, dass auch fehlerhafte Rechenwege zufällig zur richtigen Endantwort führen können. [Lightman et al.: Let's Verify Step by Step](https://cdn.openai.com/improving-mathematical-reasoning-with-process-supervision/Lets_Verify_Step_by_Step.pdf) Ein darauf beruhendes positives Trainingslabel bescheinigt deshalb nicht automatisch korrekte Zwischenschritte. [Lightman et al.: Let's Verify Step by Step](https://cdn.openai.com/improving-mathematical-reasoning-with-process-supervision/Lets_Verify_Step_by_Step.pdf)

Ein ORM ist außerdem ein gelerntes Vorhersagemodell und nicht mit der exakten Prüffunktion gleichzusetzen, die seine Trainingslabels erzeugt hat. [Lightman et al.: Let's Verify Step by Step](https://cdn.openai.com/improving-mathematical-reasoning-with-process-supervision/Lets_Verify_Step_by_Step.pdf) In der genannten Arbeit dient seine Vorhersage dazu, unter mehreren neuen Lösungsvorschlägen den am besten bewerteten auszuwählen. [Lightman et al.: Let's Verify Step by Step](https://cdn.openai.com/improving-mathematical-reasoning-with-process-supervision/Lets_Verify_Step_by_Step.pdf)

## Verwandte Begriffe

**Reward Model**, **Process Reward Model**, **Verifier**, **RLVR**, **Reward**.