Retry

Ein Retry ist der erneute Versuch nach einem Fehlschlag. Bei Modellaufrufen gibt es zwei Anlässe, die auseinandergehalten gehören: technische Fehler wie Zeitüberschreitung oder Überlastung, und inhaltliche Fehlschläge, bei denen die Antwort kam, aber unbrauchbar war. AWS

Sofort zu wiederholen macht die Lage schlimmer

Bei Überlastung verschärfen sofortige Wiederholungen das Problem, weil sie zusätzliche Last erzeugen. Etabliert ist deshalb wachsender Abstand zwischen den Versuchen, kombiniert mit einer zufälligen Streuung, damit nicht alle Aufrufer gleichzeitig wiederkommen. Dazu gehört eine Obergrenze und ein Schalter, der nach wiederholten Fehlschlägen ganz abbricht. Google SRE Book

Bei inhaltlichen Fehlschlägen gilt anderes. Dieselbe Anfrage noch einmal zu senden, führt bei Modellen oft zu einem anderen Ergebnis, was nützlich sein kann. Sinnvoller ist aber, die Anfrage beim zweiten Versuch zu ergänzen, etwa mit der Fehlermeldung der Formatprüfung.

So kannst du dir das vorstellen

An einer besetzten Telefonnummer immer schneller neu zu wählen macht die Leitung nicht frei. Mit wachsendem Abstand anzurufen schon eher. Das Bild erklärt den wachsenden Abstand, es beschreibt keinen konkreten Ablauf.

Was es in der Praxis konkret bedeutet

Setze drei Dinge: eine maximale Zahl an Versuchen, wachsenden Abstand mit Streuung, und eine Kostengrenze. Unterscheide dabei technische von inhaltlichen Wiederholungen und protokolliere beide getrennt, sonst verschwinden inhaltliche Probleme in der Fehlerstatistik. Wichtig ist außerdem, dass wiederholte Aufrufe keine Nebenwirkungen doppelt auslösen, etwa Bestellungen oder Mails.

Wo es verwechselt wird

Wiederholung ist kein Ersatz für einen Ersatzweg: Wer dreimal dasselbe versucht, hat bei einem längeren Ausfall nichts gewonnen. Und mehrere Versuche mit Auswahl der besten Antwort sind kein Retry, sondern ein eigenes Verfahren mit eigenem Kostenprofil.

Verwandte Begriffe

Fallback, Rate Limits, Blast Radius, Stall Detection, Inference Cost, Structured Output.