Stop Sequence

Eine Stop Sequence ist eine Zeichenfolge, bei deren Auftreten die Erzeugung abgebrochen wird. Man gibt sie mit der Anfrage mit, und die Antwort endet, sobald das Modell sie erzeugt. Die Schnittstelle meldet das als eigenen Grund für das Ende, getrennt vom regulären Abschluss und vom Erreichen der Längengrenze. Anthropic: Handling stop reasons

Eine Klammer um die Ausgabe

Typische Anwendungen sind Formate mit festen Abschnitten: Man lässt das Modell einen Block schreiben und bricht bei der Marke ab, die den nächsten einleiten würde. Ebenso nützlich ist sie in Dialogformaten, um zu verhindern, dass das Modell die Rolle des Gegenübers gleich mitschreibt.

Für strenge Formate reicht sie allerdings nicht. Wenn die Ausgabe zwingend einer Struktur folgen soll, braucht es Verfahren, die die zulässigen Fortsetzungen während der Erzeugung einschränken. Willard, Louf

So kannst du dir das vorstellen

Ein vereinbartes Codewort, bei dem der Erzähler aufhört. Solange es nicht fällt, redet er weiter, und das Wort selbst erscheint nicht im Protokoll. Das Bild erklärt die Wirkung, nicht die Umsetzung in der Schnittstelle.

Was es in der Praxis bedeutet

Prüfe in deiner Anwendung immer den gemeldeten Grund für das Ende. Ein Abbruch an der Marke ist etwas anderes als ein Abbruch an der Längengrenze, und nur im ersten Fall ist die Ausgabe vollständig.

Vorsicht bei der Wahl der Marke: Sie darf nicht zufällig im gewünschten Inhalt vorkommen. Dreifache Rauten oder spitze Klammern in einem Text über Programmierung sind dafür schlechte Kandidaten.

Wo es verwechselt wird

Die Marke beendet die Ausgabe, sie erzwingt kein Format. Und sie ist nicht die Abbruchbedingung einer Agentenschleife, die auf einer anderen Ebene wirkt.

Verwandte Begriffe

Max New Tokens, Output Limit, Structured Output, Constrained Decoding, Termination Condition.