Policy

Eine Policy ist im Reinforcement Learning die Regel, nach der ein Agent seine Aktionen auswählt. OpenAI: Grundlagen des Reinforcement Learning Sie kann entweder eine bestimmte Aktion vorgeben oder eine Wahrscheinlichkeitsverteilung über mehrere mögliche Aktionen liefern. OpenAI: Grundlagen des Reinforcement Learning

Eine Regel für Entscheidungen

Die Policy erhält Informationen über die aktuelle Situation; je nach Aufgabe ist das eine vollständige Zustandsbeschreibung oder nur eine begrenzte Beobachtung. OpenAI: Grundlagen des Reinforcement Learning Ihr Ergebnis bestimmt, was der Agent als Nächstes tut beziehungsweise wie wahrscheinlich die verfügbaren Möglichkeiten sind. OpenAI: Grundlagen des Reinforcement Learning

Bei einer durch ein neuronales Netz dargestellten Policy hängen diese Entscheidungen von trainierbaren Modellparametern ab. OpenAI: Grundlagen des Reinforcement Learning Verändert ein Lernalgorithmus die Parameter, verändert er damit die Entscheidungsregel. OpenAI: Grundlagen des Reinforcement Learning

Im Sprachmodelltraining kann das antwortende Modell selbst die Policy sein: Es erzeugt aus einem vorgegebenen Kontext eine Antwort und wird anhand der dafür erhaltenen Bewertung angepasst. Ouyang et al.: InstructGPT Die Wahrscheinlichkeiten der erzeugten Tokens, also der verarbeiteten Textbausteine, spielen dabei eine zentrale Rolle. Ouyang et al.: InstructGPT

So kannst du dir das vorstellen

Angenommen, ein hypothetischer Serviceassistent soll auf eine unvollständige Anfrage reagieren. Als vereinfachte Handlungsmöglichkeiten betrachten wir „Rückfrage stellen“, „sofort antworten“ und „an einen Menschen weitergeben“.

Eine Policy könnte die Rückfrage besonders wahrscheinlich machen, wenn eine wichtige Angabe fehlt. Nach einem Training mit anderen Bewertungen könnte sich diese Verteilung verschieben.

Das ist eine grobe Analogie: Ein Sprachmodell muss nicht über genau drei solche Schaltflächen verfügen. Für das Verständnis genügt die Vorstellung einer Regel, die mögliche Fortsetzungen unterschiedlich gewichtet.

Nicht die Bewertungsinstanz

Die Policy erzeugt Verhalten; eine Reward Function oder ein Reward Model liefert dagegen das Belohnungssignal, mit dem dieses Verhalten bewertet wird. OpenAI: Grundlagen des Reinforcement Learning Zusätzlich kann eine Value Function schätzen, wie viel zukünftige Belohnung in einer Situation zu erwarten ist. OpenAI: Grundlagen des Reinforcement Learning

Diese Rollen solltest du auseinanderhalten, auch wenn sie in einem Trainingssystem eng zusammenarbeiten. Im hier gemeinten Fachgebrauch bezeichnet Policy eine Entscheidungsregel und keine ausformulierte Unternehmensrichtlinie.

Verwandte Begriffe

Reinforcement Learning, Reward, Reward Model, PPO, Trajectory.