---
term: "Serverless Inference"
slug: "serverless-inference"
glossar_id: "G502"
variants: []
category: "modellzugang-hosting-und-unternehmensbereitstellung"
marker: ""
short: "Inferenz als Dienst ohne kundenseitige Verwaltung der zugrunde liegenden Server."
sources:
  - label: "AWS: Serverless Inference in SageMaker"
    url: "https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints.html"
  - label: "Microsoft Learn: Provisioned Throughput"
    url: "https://learn.microsoft.com/en-us/azure/ai-foundry/openai/concepts/provisioned-throughput"
status: "entwurf"
updated: "2026-09-21"
---

Bei serverloser Inferenz startet und beendet die Plattform die Rechenkapazität automatisch, je nachdem, wie viele Anfragen ankommen. Du wählst keinen Maschinentyp und schreibst keine Skalierungsregeln. Kommen keine Anfragen, fährt der Dienst auf null herunter, und es entstehen keine Kosten. [AWS](https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints.html)

## Der Kaltstart ist der Preis für das Herunterfahren

Wer auf null skaliert, muss beim nächsten Aufruf wieder hochfahren. Diese erste Anfrage nach einer Ruhephase dauert länger, manchmal deutlich, weil Rechenkapazität bereitgestellt und die Modellgewichte geladen werden müssen. Bei großen Modellen sind das viele Gigabyte.

Damit ist die Eignung klar umrissen: unregelmäßiger Verkehr mit Pausen, und eine Anwendung, die gelegentliche Verzögerungen verträgt. Wer gleichmäßige Antwortzeiten braucht, greift zu reservierter Kapazität, die dauerhaft bereitsteht und dauerhaft kostet. [Microsoft Learn](https://learn.microsoft.com/en-us/azure/ai-foundry/openai/concepts/provisioned-throughput)

## So kannst du dir das vorstellen

Ein Heizlüfter statt einer Fußbodenheizung. Der Lüfter kostet nichts, solange er aus ist, und braucht ein paar Minuten, bis es warm wird. Die Fußbodenheizung hält die Temperatur, läuft dafür durch. Das Bild erklärt den Zielkonflikt, es nennt keine konkreten Startzeiten.

## Was es in der Praxis konkret bedeutet

Miss den Kaltstart mit deinem Modell, bevor du dich festlegst, und zwar nach einer echten Ruhephase, nicht direkt nach einem Test. Für interne Werkzeuge mit wenigen Aufrufen am Tag ist die Betriebsart ideal. Für alles mit Nutzern vor dem Bildschirm brauchst du entweder eine wachhaltende Anfrage in kurzen Abständen oder eine andere Betriebsart.

## Wo es verwechselt wird

Serverlos heißt nicht, dass keine Server im Spiel sind, sondern dass du sie nicht verwaltest. Und es ist nicht automatisch billiger: Bei gleichmäßig hoher Last ist reservierte Kapazität oft günstiger.

## Verwandte Begriffe

**Managed Inference**, **Scale to Zero**, **Dedicated Deployment**, **Time to First Token**, **Inference Cost**, **Latency**.