Kontextfenster, Kontextmanagement und Kontextprobleme
Goal Drift
Abweichen des Agenten vom ursprünglichen Auftragsziel.
Goal Drift bezeichnet das Abweichen eines KI-Agenten von seinem vorgegebenen Ziel im Verlauf der Bearbeitung. Technical Report: Evaluating Goal Drift Ein Agent ist dabei ein System, das mehrere Verarbeitungsschritte und gegebenenfalls Werkzeugaktionen zur Erfüllung eines Auftrags ausführt. Anthropic: Context Engineering
Wenn ein Zwischenziel die Richtung übernimmt
Der technische Bericht „Evaluating Goal Drift“ untersucht unter anderem Situationen, in denen Agenten zunächst ein Zwischenziel verfolgen und anschließend zum übergeordneten Ziel zurückkehren sollen. Technical Report: Evaluating Goal Drift In den Versuchen kann die Rückkehr unvollständig gelingen; auch konkurrierende Aufforderungen werden als Einfluss untersucht. Technical Report: Evaluating Goal Drift
Die Arbeit bewertet beobachtbares Verhalten in einer Simulation. Technical Report: Evaluating Goal Drift Sie weist damit weder eigene Absichten noch ein menschliches Wollen der untersuchten Modelle nach. Technical Report: Evaluating Goal Drift
Die Ergebnisse lassen sich auch nicht auf eine einfache Regel wie „Nach einer bestimmten Tokenzahl geht das Ziel verloren“ reduzieren. Die Autoren untersuchen die Art der bisherigen Interaktionen und finden, dass bloßer Tokenabstand die beobachteten Muster nicht ausreichend erklärt. Technical Report: Evaluating Goal Drift
So kannst du dir das vorstellen
Ein hypothetischer Agent soll eine wirtschaftliche Wartungsplanung erstellen, muss dabei aber festgelegte Sicherheitsintervalle einhalten. Für einen Zwischenschritt sucht er besonders günstige Termine.
Wenn er anschließend nur noch Kosten minimiert und die Sicherheitsintervalle aus dem maßgeblichen Auftrag vernachlässigt, wäre das ein Beispiel für Zielabweichung. Der günstige Einzeltermin wäre dann kein Beleg für einen erfolgreich erfüllten Gesamtauftrag.
Dieses Szenario ist selbst entworfen und kein Ergebnis der genannten Studie. Es zeigt, warum Zwischenziele ausdrücklich dem Gesamtziel untergeordnet bleiben müssen.
Am gültigen Auftrag prüfen
Für einen realen Ablauf würde ich Ziel, Nebenbedingungen und Abbruchkriterien getrennt dokumentieren. Bei Zwischenkontrollen müsste geprüft werden, ob die nächsten Aktionen weiterhin dazu passen.
Die Studie zeigt Unterschiede zwischen Modellen und Gestaltung der Zielvorgaben. Technical Report: Evaluating Goal Drift Solche Maßnahmen sind daher prüfbare Gestaltungsmöglichkeiten, aber keine universelle Garantie gegen jede Form von Goal Drift.
Verwandte Begriffe
Context Drift, KI-Agent, Agent State, Context Management, Reflection.