Generierung, Sampling und Ausgabeformate
Max New Tokens
Obergrenze neu generierter Tokens ohne die Eingabetokens.
Max New Tokens ist die Obergrenze für die Zahl der Tokens, die eine Antwort umfassen darf. Gezählt werden nur die neu erzeugten Tokens, nicht die der Eingabe. Wird die Grenze erreicht, endet die Ausgabe mitten im Satz, und die Schnittstelle meldet das als eigenen Grund für das Ende. Anthropic: Handling stop reasons
Eine harte Grenze, keine Stilvorgabe
Die Einstellung ist ein Sicherheitsnetz gegen ausufernde Antworten und gegen Kosten. Sie sorgt aber nicht für kürzere Texte im Sinne der Formulierung: Das Modell schreibt weiter wie geplant und wird schlicht abgeschnitten.
Wer kurze Antworten will, formuliert das im Prompt und setzt die Grenze zusätzlich als Notbremse. Für die Planung im Betrieb ist sie ebenfalls nützlich, weil die Länge der Ausgabe die Dauer der Anfrage bestimmt. Agrawal et al.
So kannst du dir das vorstellen
Ein Redebeitrag mit abgeschaltetem Mikrofon nach drei Minuten. Der Redner hört nicht früher auf, er ist nur ab dann nicht mehr zu hören. Das Bild erklärt den Unterschied zwischen Begrenzen und Kürzerfassen.
Was es in der Praxis bedeutet
Prüfe den gemeldeten Grund für das Ende und behandle den Fall der erreichten Grenze ausdrücklich: Entweder fortsetzen lassen, neu mit klarerer Längenvorgabe anfragen oder dem Nutzer sagen, dass die Antwort unvollständig ist.
Bei Modellen mit sichtbarem Denkprozess ist zu beachten, dass dieser Teil gegen dieselbe Grenze zählen kann. Eine knapp gesetzte Grenze schneidet dann die eigentliche Antwort ab.
Wo es verwechselt wird
Die Grenze ist nicht das Kontextfenster: Sie betrifft nur die Ausgabe, während das Fenster Eingabe und Ausgabe zusammen begrenzt. Und sie ist keine Aufforderung zur Kürze.
Verwandte Begriffe
Output Limit, Stop Sequence, Context Window, Latency, Tokens.