Modellzugang, Hosting und Unternehmensbereitstellung
Multi-Tenant Deployment
Heißt auch Multi-Tenancy.
Bereitstellungsmodell, bei dem mehrere Kunden eine Anbieterumgebung nutzen.
In einer Multi-Tenant-Umgebung teilen sich viele Kunden dieselbe Infrastruktur. Das ist der Normalfall bei Modellen, die über eine Schnittstelle angeboten werden: Deine Anfrage landet auf Hardware, die im selben Moment Anfragen anderer bearbeitet. Getrennt wird auf Anwendungs- und Datenebene, nicht auf Hardwareebene. AWS
Geteilte Infrastruktur ist der Grund für den Preis
Der Vorteil liegt in der Auslastung. Eine Grafikkarte, die für einen einzelnen Kunden die meiste Zeit Leerlauf hätte, arbeitet mit vielen Kunden durchgehend. Diese Ersparnis gibt der Anbieter über die Abrechnung pro Token weiter, die es bei reservierter Kapazität so nicht gibt. AWS
Der Preis dafür sind laute Nachbarn. Antwortzeiten schwanken mit der Gesamtlast, und bei Spitzen greifen Begrenzungen, die deine Anfragen ausbremsen oder abweisen. Für die Mandantentrennung selbst gilt: Sie ist Aufgabe des Anbieters und für dich von außen nicht prüfbar, weshalb Zertifizierungen und Prüfberichte an ihre Stelle treten.
So kannst du dir das vorstellen
Ein Großraumbüro mit festen Arbeitsplätzen. Jeder hat seinen Schreibtisch und abschließbare Schubladen, die Wände zwischen den Plätzen fehlen aber. Das Bild erklärt die Art der Trennung, es unterstellt keinem Anbieter eine schwache Umsetzung.
Was es in der Praxis konkret bedeutet
Für die meisten Anwendungen ist das die richtige Wahl, weil sie ohne Grundkosten auskommt. Plane aber von Anfang an für Begrenzungen: Wiederholversuche mit wachsendem Abstand, eine Warteschlange für Lastspitzen und eine Rückfallebene. Wenn dein Produkt feste Antwortzeiten zusagt, brauchst du entweder reservierte Kapazität oder eine Zusage im Vertrag.
Wo es verwechselt wird
Geteilte Infrastruktur heißt nicht, dass deine Eingaben bei anderen Kunden auftauchen oder zum Training verwendet werden. Das regeln Trennung und Vertrag getrennt voneinander. Und Multi-Tenancy ist keine Aussage über den Speicherort der Daten.
Verwandte Begriffe
Single-Tenant Deployment, Dedicated Deployment, Rate Limits, Managed Inference, Inference Cost, Data Retention.