Sicherheit, Missbrauch und Governance
Blast Radius
Umfang möglicher Folgen eines Fehlers oder einer unkontrollierten Aktion.
Blast Radius, auf Deutsch Wirkungsradius, bezeichnet den Umfang des Schadens, den ein Fehler anrichten kann. Die Frage ist nicht, ob etwas schiefgeht, sondern wie weit die Folgen reichen, wenn es passiert.
Selbständigkeit vergrößert den Radius
Bei Agenten wächst er mit der Zahl der Schritte und mit den Rechten. Fehler pflanzen sich über Schritte fort, und mehr Selbständigkeit bedeutet höhere Kosten und mehr Gelegenheit für solche Verkettungen; empfohlen werden deshalb Tests in abgeschotteten Umgebungen und Schutzmaßnahmen. Anthropic: Building effective agents
Auswertungen von Mehragentensystemen zeigen zudem, dass Fehler oft nicht an einer Stelle entstehen, sondern im Zusammenspiel, was den betroffenen Bereich schwerer vorhersagbar macht. Cemri et al.
So kannst du dir das vorstellen
Der Unterschied zwischen einem Wasserschaden im Waschraum und einem im Serverraum. Dasselbe Leck, ganz andere Folgen, je nachdem, was in der Nähe steht. Das Bild erklärt die Abhängigkeit vom Umfeld.
Was es in der Praxis bedeutet
Vor der Einführung eines Agenten lohnt die Frage: Was ist das Schlimmste, das dieser Lauf anrichten kann, und wie merken wir es? Die Antwort ergibt die nötigen Maßnahmen, von engeren Rechten über Freigaben bis zu Testumgebungen.
Praktisch hilft die Trennung von Umgebungen, die Beschränkung auf einzelne Projekte oder Postfächer und die Möglichkeit, Änderungen zurückzunehmen. Was sich rückgängig machen lässt, hat einen kleineren Radius.
Wo es verwechselt wird
Der Radius ist keine Eintrittswahrscheinlichkeit, sondern ein Schadensmaß. Und er lässt sich nicht durch bessere Prompts verkleinern, sondern nur durch Rechte, Trennung und Umkehrbarkeit.
Verwandte Begriffe
Sandbox, Scoped Credentials, Approval Gate, Compounding Errors, Autonomous Agent.