Sicherheit, Missbrauch und Governance
Rate Limits
Heißt auch Agent Quotas.
Begrenzungen für Anfragehäufigkeit oder Ressourcenverbrauch.
Rate Limits sind Obergrenzen für die Nutzung einer Schnittstelle: wie viele Anfragen in einem Zeitraum gestellt werden dürfen und wie viele Tokens dabei verarbeitet werden. Sie schützen den Betrieb vor Überlast und begrenzen zugleich den Schaden, wenn eine Anwendung außer Kontrolle gerät. Anthropic: Rate limits
Grenzen wirken in beide Richtungen
Für den Anbieter sind sie Lastschutz. Für den Nutzer sind sie eine Planungsgröße, weil eine Anwendung mit vielen gleichzeitigen Nutzern daran stößt, und zugleich eine Sicherung: Eine Schleife, die außer Kontrolle läuft, wird gebremst, bevor die Rechnung ins Unermessliche wächst.
Auch für angebundene Werkzeuge wird empfohlen, Aufrufe zu begrenzen, hier auf Serverseite. Model Context Protocol: Tools
So kannst du dir das vorstellen
Die Sicherung im Stromkasten. Sie ist im Alltag unsichtbar und verhindert im Fehlerfall, dass das ganze Haus brennt. Das Bild erklärt die doppelte Rolle aus Schutz und Grenze.
Was es in der Praxis bedeutet
Anwendungen brauchen einen geordneten Umgang mit dem Erreichen der Grenze: Wiederholen mit wachsendem Abstand, Warteschlangen für Stapelarbeit und eine Trennung von interaktivem Verkehr und Hintergrundläufen. Sonst blockiert ein nächtlicher Auswertungslauf am nächsten Morgen das Chatfenster.
Im eigenen Haus lohnt es sich, zusätzlich eigene Grenzen je Anwendung und je Team zu setzen. Das macht sichtbar, wer wie viel verbraucht, und verhindert, dass ein Projekt das Kontingent aller aufbraucht.
Wo es verwechselt wird
Grenzen sind keine Kostenobergrenze: Innerhalb der erlaubten Menge kann es teuer werden. Und sie sind kein Schutz vor falschem Verhalten, sondern nur vor zu viel davon.
Verwandte Begriffe
Step Ceiling, Concurrency, Cost per Million Tokens, Blast Radius, Termination Condition.