Provisioned Throughput

Provisioned Throughput bezeichnet eine feste Menge an Verarbeitungskapazität, die für deine Bereitstellung reserviert wird. Anders als bei Abrechnung pro Token steht die Kapazität bereit, ob du sie nutzt oder nicht, und sie schwankt nicht mit der Nachfrage anderer Kunden. Microsoft Learn

Reserviert ist eine Menge, keine Maschine

Die Reservierung bezieht sich auf Durchsatz, also auf Tokens pro Zeiteinheit, nicht auf ein Stück Hardware. Ob dahinter eigene Grafikkarten stehen oder ein Anteil an geteilten, bleibt dem Anbieter überlassen. Für Kapazitätsplanung ist das unerheblich, für eine Datenschutzprüfung nicht. AWS

Reservierte Kapazität kommt üblicherweise mit Laufzeiten von Monaten und mit Kontingenten, die vorab beantragt werden müssen. Kurzfristig aufstocken lässt sie sich nicht immer, denn die Hardware muss beim Anbieter verfügbar sein.

So kannst du dir das vorstellen

Ein gemieteter Lagerplatz mit fester Quadratmeterzahl. Ob du ihn füllst, ändert die Miete nicht, und ob die Halle nur dir gehört, steht im Vertrag, nicht auf dem Preisschild. Das Bild erklärt die Art der Zusage, es beschreibt kein konkretes Angebot.

Was es in der Praxis konkret bedeutet

Rechne mit deiner tatsächlichen Lastkurve, nicht mit der Spitze. Reservierte Kapazität lohnt bei gleichmäßiger Grundlast über den Tag, während Abrechnung pro Token bei schwankender Nutzung günstiger bleibt. Verbreitet ist die Mischung: reservierte Kapazität für die Grundlast, Abrechnung pro Token für Spitzen. Kläre vorher, ob ein Überlauf in den geteilten Betrieb überhaupt vorgesehen ist.

Wo es verwechselt wird

Reservierter Durchsatz heißt nicht exklusive Hardware und auch nicht kürzere Antwortzeit pro Anfrage. Gesichert wird die Menge unter Last, nicht die Geschwindigkeit im Einzelfall.

Verwandte Begriffe

Provisioned Throughput Unit, Dedicated Deployment, Multi-Tenant Deployment, Rate Limits, Inference Cost, Serverless Inference.