Custom Model Import

Custom Model Import bedeutet, eigene Modellgewichte in eine Hostingplattform zu laden und sie dort wie ein bereitgestelltes Modell aufzurufen. Typisch sind Modelle, die anderswo angepasst wurden und nun ohne eigene Serverbetreuung laufen sollen. AWS

Unterstützt wird, was zur Plattform passt

Beliebige Dateien nimmt keine Plattform an. Vorgegeben sind unterstützte Architekturen, ein bestimmtes Dateiformat und oft auch Regionen, in denen der Import möglich ist. Wer ein Modell mit ungewöhnlichem Aufbau mitbringt, landet schnell außerhalb des Unterstützten und braucht dann doch eigenen Betrieb.

Der zweite Punkt ist rechtlicher Natur: Die Lizenz des importierten Modells gilt weiter. Wer ein Modell mit Auflagen einspielt, muss diese im eigenen Produkt einhalten, etwa Kennzeichnungspflichten oder Nutzungsbeschränkungen. Llama 3.1 Community License

So kannst du dir das vorstellen

Ein eigenes Gericht in die Küche eines Restaurants geben, damit es dort gekocht und serviert wird. Die Küche akzeptiert nur bestimmte Zutaten und Verfahren, und für die Herkunft der Zutaten bleibst du verantwortlich. Das Bild erklärt die Arbeitsteilung, es beschreibt kein konkretes Angebot.

Was es in der Praxis konkret bedeutet

Prüfe drei Punkte vor dem Import: ob deine Modellarchitektur ausdrücklich unterstützt wird, welche Plattformfunktionen für importierte Modelle wegfallen, etwa Stapelverarbeitung oder bestimmte Werkzeugfunktionen, und wie abgerechnet wird, denn importierte Modelle laufen häufig nur mit reservierter Kapazität. Plane außerdem eine Ausweichmöglichkeit, falls die Unterstützung für deine Architektur endet.

Wo es verwechselt wird

Import heißt nicht Anpassung: Das Anpassen selbst geschieht anderswo, hier geht es nur um den Betrieb. Und ein importiertes Modell ist nicht automatisch isoliert, die üblichen Fragen nach Mandantentrennung und Speicherung bleiben.

Verwandte Begriffe

Fine-Tuned Deployment, Managed Inference, Open-Weight Model, Commercial Model License, safetensors, Dedicated Deployment.