Concurrency

Concurrency, auf Deutsch Nebenläufigkeit, ist die Zahl der Anfragen, die gleichzeitig in Bearbeitung sind. Sie ist die Größe, an der sich Durchsatz und Antwortzeit gegenseitig begrenzen: Mit jeder weiteren gleichzeitigen Anfrage steigt die Auslastung und sinkt die Geschwindigkeit der einzelnen Antwort. Agrawal et al.

Die Grenze setzt der Speicher

Wie viele Anfragen gleichzeitig laufen können, hängt nicht am Rechenwerk, sondern am Speicher für die Zwischenwerte je Anfrage. Lange Kontexte belegen mehr davon, weshalb dieselbe Maschine bei kurzen Anfragen deutlich mehr Nutzer bedient als bei langen. Kwon et al.

Bei Diensten wird das über Begrenzungen abgebildet: erlaubte Anfragen je Minute, erlaubte Tokens je Minute und manchmal eine Obergrenze gleichzeitiger Anfragen.

So kannst du dir das vorstellen

Eine Arztpraxis mit begrenzten Behandlungsräumen. Mehr Patienten gleichzeitig heißt bessere Auslastung und längere Wartezeit im Zimmer. Ab einer bestimmten Zahl steht die Praxis still, weil kein Raum mehr frei ist. Das Bild erklärt die Grenze, nicht deren Berechnung.

Was es in der Praxis bedeutet

Für Lasttests ist das die entscheidende Größe. Miss nicht nur den Durchsatz insgesamt, sondern die Antwortzeit bei wachsender Nebenläufigkeit. Der Punkt, an dem die Zeiten steil ansteigen, ist die praktische Kapazität deines Aufbaus.

Für Anwendungen gegen fremde Schnittstellen heißt es: Begrenzungen einplanen, Wiederholungen mit wachsendem Abstand einbauen und Stapelarbeit vom interaktiven Verkehr trennen. Sonst bringt ein nächtlicher Auswertungslauf das Chatfenster am Vormittag ins Stocken.

Wo es verwechselt wird

Nebenläufigkeit ist nicht die Nutzerzahl: Nur ein Teil der Nutzer wartet in einem Moment auf eine Antwort. Und sie ist nicht die Bündelgröße, auch wenn beide zusammenhängen.

Verwandte Begriffe

Batch Size, Continuous Batching, Latency, Model Serving, Rate Limits.