Alignment, Präferenzlernen und Reinforcement Learning
Trajectory / Rollout
Heißt auch Trajectory oder Rollout.
Abfolge von Zuständen, Aktionen und Ergebnissen eines Durchlaufs.
Eine Trajectory ist im Reinforcement Learning die zeitliche Abfolge von Zuständen und Aktionen eines Durchlaufs. OpenAI: Grundlagen des Reinforcement Learning Solche Abläufe werden häufig auch als Rollouts oder Episoden bezeichnet und bilden die Grundlage, um das Verhalten einer Policy zu bewerten. OpenAI: Grundlagen des Reinforcement Learning
Ein Ablauf wird nachvollziehbar
Die Policy, also die Entscheidungsregel des Agenten, wählt Aktionen aus, auf die die Umgebung mit neuen Situationen reagiert. OpenAI: Grundlagen des Reinforcement Learning Entlang dieses Ablaufs entstehen Belohnungssignale, deren Summe oder gewichtete Zusammenfassung als Return betrachtet wird. OpenAI: Grundlagen des Reinforcement Learning
Mit „Rollout“ ist in Trainingsbeschreibungen häufig auch das Durchführen eines solchen Ablaufs zur Datensammlung gemeint. Schulman et al.: PPO PPO trennt beispielsweise das Sammeln von Interaktionsdaten unter der bisherigen Policy von den anschließenden Optimierungsschritten. Schulman et al.: PPO
Bei einem Sprachmodell kann ein Durchlauf aus einer vorgegebenen Anfrage, einer erzeugten Antwort und der anschließenden Bewertung bestehen. Ouyang et al.: InstructGPT Die genaue Länge und Struktur des betrachteten Ablaufs hängt damit von der definierten Trainingsaufgabe ab. OpenAI: Grundlagen des Reinforcement Learning
So kannst du dir das vorstellen
Ein hypothetischer Serviceagent soll einen freien Termin finden. Er liest zunächst die Anfrage, fragt eine fehlende Angabe nach, erhält die Antwort und prüft anschließend einen Kalender.
Wenn du diese Abfolge mit den jeweiligen Beobachtungen und Aktionen protokollierst, erhältst du in der Analogie eine Trajectory. Eine abschließende Bewertung könnte berücksichtigen, ob ein tatsächlich passender Termin gefunden wurde.
Ein zweiter Durchlauf könnte anders verlaufen, etwa weil eine andere Rückfrage gestellt wurde. Beide Aufzeichnungen wären einzelne Beispiele des Verhaltens, nicht bereits die allgemeinen Regeln, nach denen der Agent entscheidet.
Aufzeichnen ist noch kein Lernen
Die Trajectory beschreibt das durchgeführte Verhalten, während die Policy die Regel für das Erzeugen solcher Abläufe darstellt. OpenAI: Grundlagen des Reinforcement Learning Ein Trainingsalgorithmus kann gesammelte Abläufe auswerten und danach die Parameter der Policy verändern. Schulman et al.: PPO
Deshalb sollte eine Aussage wie „Das Modell erzeugt mehrere Rollouts“ nicht automatisch als „Das Modell trainiert sich gerade“ verstanden werden. Entscheidend wäre, ob auf die Erzeugung tatsächlich eine Optimierung folgt oder die Ergebnisse nur verglichen und ausgewählt werden.