Modellzugang, Hosting und Unternehmensbereitstellung
Self-Hosting
Heißt auch Self-Hosted LLM oder Eigenbetrieb.
Modellbetrieb auf selbst verwalteter Infrastruktur; nicht auf den eigenen Laptop beschränkt.
Self-Hosting heißt, ein Modell auf Infrastruktur zu betreiben, die du selbst verwaltest. Das kann ein Server im eigenen Rechenzentrum sein, ebenso gut eine gemietete Maschine mit Grafikkarte bei einem Cloudanbieter. Entscheidend ist nicht der Standort, sondern wer den Dienst betreibt und aktualisiert. vLLM
Der Betrieb ist der eigentliche Aufwand
Ein Modell zu starten ist eine Zeile auf der Kommandozeile. Danach beginnt die Arbeit: Anfragen bündeln, damit die Grafikkarte ausgelastet ist, Speicher im Blick behalten, Abstürze abfangen, Aktualisierungen einspielen, Zugriffe absichern. Dafür gibt es fertige Serverkomponenten, die eine Schnittstelle im verbreiteten Format bereitstellen, sodass bestehende Anwendungen ohne Umbau darauf zeigen können. llama.cpp
Die Gründe für Eigenbetrieb sind meist Datenschutz, Kostenstruktur bei hohem Dauervolumen oder die Anforderung, eine bestimmte Modellversion über Jahre unverändert zu halten.
So kannst du dir das vorstellen
Der Unterschied zwischen einem Firmenwagen mit Wartungsvertrag und einem eigenen Fuhrpark. Der eigene Fuhrpark rechnet sich ab einer gewissen Größe und gibt dir alle Freiheiten, dafür stehst du für Werkstatt, Ersatzteile und Ausfälle selbst gerade. Das Bild erklärt die Verantwortungsverteilung, es rechnet keinen konkreten Fall vor.
Was es in der Praxis konkret bedeutet
Rechne nicht nur die Hardware, sondern die Leerlaufzeit: Eine Grafikkarte kostet auch dann, wenn nachts niemand Anfragen stellt, während ein Dienst pro Token abrechnet. Prüfe vorher, wie viele gleichzeitige Anfragen du bedienen musst und wie schnell eine Antwort da sein soll, denn daraus folgt die Kartenzahl. Und plane die Person ein, die den Dienst betreut.
Wo es verwechselt wird
Self-Hosting ist nicht dasselbe wie lokal auf dem eigenen Gerät. Ein selbst betriebener Dienst kann in einer fremden Cloud laufen. Und es bedeutet nicht automatisch On-Premises: Dort geht es um Hardware in den eigenen Räumen.
Verwandte Begriffe
Local LLM, On-Premises, Managed Inference, vLLM, Open-Weight Model, Inference Cost.