---
term: "Proximal Policy Optimization"
slug: "ppo"
glossar_id: "G148"
variants: ["PPO"]
category: "alignment-praeferenzlernen-und-reinforcement-learning"
marker: "Technik"
short: "RL-Verfahren mit begrenzten beziehungsweise stabilisierten Policy-Updates."
redirects: ["proximal-policy-optimization"]
sources:
  - label: "Schulman et al.: PPO"
    url: "https://arxiv.org/pdf/1707.06347"
  - label: "Ouyang et al.: InstructGPT"
    url: "https://arxiv.org/pdf/2203.02155"
status: "entwurf"
updated: "2026-09-20"
---

Proximal Policy Optimization, kurz PPO, ist eine Familie von Verfahren für bestärkendes Lernen, die Änderungen der Entscheidungsregel eines Agenten stabilisieren soll. [Schulman et al.: PPO](https://arxiv.org/pdf/1707.06347) Besonders bekannt ist die Variante mit einem begrenzenden Trainingsziel, dem sogenannten Clipping. [Schulman et al.: PPO](https://arxiv.org/pdf/1707.06347)

## Lernen ohne zu große Sprünge

PPO sammelt zunächst Abläufe mit der bisherigen Policy, also der Regel für die Aktionsauswahl, und verwendet diese Daten anschließend für mehrere Optimierungsschritte. [Schulman et al.: PPO](https://arxiv.org/pdf/1707.06347) Dabei vergleicht es, wie wahrscheinlich eine ausgeführte Aktion unter der neuen und der vorherigen Policy ist. [Schulman et al.: PPO](https://arxiv.org/pdf/1707.06347)

Zusätzlich berücksichtigt es den geschätzten Vorteil der Aktion gegenüber einem Vergleichswert, den sogenannten Advantage. [Schulman et al.: PPO](https://arxiv.org/pdf/1707.06347) Dieser beschreibt nicht einfach die rohe Belohnung, sondern ordnet die Aktion relativ zu einer erwarteten Bewertung ein. [Schulman et al.: PPO](https://arxiv.org/pdf/1707.06347)

Die verbreitete Clipping-Variante begrenzt den Anreiz im Trainingsziel, bestimmte Wahrscheinlichkeitsverhältnisse immer weiter zu verschieben. [Schulman et al.: PPO](https://arxiv.org/pdf/1707.06347) Sie setzt jedoch keine harte Obergrenze für sämtliche Parameteränderungen oder jede tatsächliche Abweichung der Policy. [Schulman et al.: PPO](https://arxiv.org/pdf/1707.06347)

## So kannst du dir das vorstellen

Stell dir eine hypothetische Trainingsrunde für einen Assistenten vor, der mehrere Antwortvarianten ausprobiert hat. Eine Variante wird günstiger bewertet als erwartet und soll künftig wahrscheinlicher werden.

Ohne Vorsicht könnte das Training diesen einzelnen Erfolg übermäßig stark gewichten. Die Analogie zu PPO wäre, den zusätzlichen Nutzen einer immer größeren Verschiebung zu begrenzen, statt aus einem positiven Beispiel sofort eine radikale Verhaltensänderung abzuleiten.

Das Bild einer „kleinen Stellschraube“ hilft hier nur bedingt: Das Verfahren garantiert nicht, dass jede reale Änderung tatsächlich klein bleibt. Diese Einschränkung gehört zum Verständnis des Clipping-Prinzips.

## Zwei unterschiedliche Vergleichsmodelle

Die ursprüngliche PPO-Arbeit stellt sowohl eine Clipping-Variante als auch eine Variante mit anpassbarer KL-Strafe vor. [Schulman et al.: PPO](https://arxiv.org/pdf/1707.06347) Bei InstructGPT kommt zusätzlich eine Strafe für die Abweichung von einem überwacht trainierten Referenzmodell zum Einsatz. [Ouyang et al.: InstructGPT](https://arxiv.org/pdf/2203.02155)

Die alte Policy eines PPO-Updates und dieses Referenzmodell haben unterschiedliche Aufgaben: Erstere dient dem Updatevergleich, Letzteres soll die längerfristige Abweichung vom Ausgangsverhalten begrenzen. [Ouyang et al.: InstructGPT](https://arxiv.org/pdf/2203.02155) PPO und RLHF sind deshalb keine Synonyme; PPO kann ein Optimierungsbestandteil einer RLHF-Pipeline sein. [Ouyang et al.: InstructGPT](https://arxiv.org/pdf/2203.02155)

## Verwandte Begriffe

**Policy**, **Reinforcement Learning**, **RLHF**, **KL Penalty**, **GRPO**.