Model Routing

Model Routing heißt, für jede Anfrage das Modell auszuwählen, das dafür passt, statt alles an dasselbe zu schicken. Ein Einordnungsschritt bestimmt die Art der Anfrage, danach geht sie an ein kleines, günstiges oder an ein großes, teures Modell. Anthropic: Building effective agents

Der Anlass sind die Preisunterschiede

Die Kosten je Anfrage unterscheiden sich zwischen den angebotenen Modellen erheblich; eine Untersuchung von 2023 spricht von bis zu zwei Größenordnungen. Chen et al.: FrugalGPT Gleichzeitig ist ein großer Teil der Anfragen in vielen Anwendungen einfach: Begrüßungen, Standardfragen, kurze Umformulierungen.

Die Einordnung selbst kann von einem kleinen Modell kommen, von einem klassischen Klassifikator oder aus einfachen Regeln. Wichtig ist nur, dass sie günstig ist, denn sie läuft bei jeder Anfrage mit.

So kannst du dir das vorstellen

Routing ist die Triage in der Notaufnahme. Nicht jeder Fall geht zur Fachärztin, aber jeder wird angesehen, bevor entschieden wird. Der Preis dafür ist, dass die Einordnung selbst Zeit kostet und falsch liegen kann. Das Bild erklärt den Nutzen der Sortierung, nicht die Güte der Behandlung.

Was es in der Praxis bedeutet

Routing spart Geld und Zeit, verschiebt das Risiko aber auf die Einordnung. Eine als einfach eingestufte Anfrage, die es nicht war, bekommt eine schwächere Antwort, und niemand merkt es, weil die Antwort flüssig klingt.

Nützlich sind deshalb zwei Dinge: eine sichere Seite bei Zweifelsfällen, also im Zweifel das stärkere Modell, und Stichproben. Wer misst, wie oft das kleine Modell danebenlag, kann die Grenze verschieben. Wer nur die Kosten misst, sieht die Verschlechterung nicht.

Wo es verwechselt wird

Model Routing wählt zwischen Modellen, ein Router Agent sortiert Anfragen zwischen Bearbeitern. Und im Unterschied zum Cascading gibt es beim Routing nur einen Versuch: Es wird einmal entschieden, nicht nachgelegt.

Verwandte Begriffe

Model Cascading, Router Agent, Workflow, Orchestration, Reasoning Effort.