Grundbegriffe und Modelltypen
Mixture of Experts
Heißt auch MoE oder Expertenmischung.
Architektur mit selektiv aktivierten Expertennetzwerken.
Mixture of Experts, kurz MoE, bezeichnet einen Modellaufbau mit mehreren Experten-Teilnetzen und einer Steuerung, die Eingaben an ausgewählte Experten weiterleitet. (Hugging Face) Bei den im LLM-Umfeld verbreiteten sparsamen MoE-Varianten verarbeitet pro Token nur ein Teil der Experten die Eingabe. (Hugging Face)
So kannst du dir das vorstellen
In einer Werkstatt gibt es mehrere Bearbeitungsstationen. Ein Verteiler entscheidet für jedes Teil, welche Stationen daran arbeiten sollen. Der Betrieb hält viele Stationen bereit, aber nicht jede arbeitet an jedem Teil.
Der Verteiler steht für den Router, die Stationen für die Experten-Teilnetze. Der Vergleich soll die selektive Verarbeitung verdeutlichen.
Die „Experten“ sind hier mathematische Netzwerke innerhalb des Modells, keine eigenständigen Chatbots oder Personen mit klar abgegrenzten Berufen. (Hugging Face) Man sollte sich also nicht automatisch einen Buchhaltungs-, einen Rechts- und einen Vertriebsassistenten vorstellen, die über eine Antwort diskutieren.
Gesamte und aktive Parameter
Ein MoE-Modell enthält die Parameter sämtlicher Experten sowie gemeinsam genutzte Modellteile; für ein einzelnes Token werden nur die gewählten Experten und die gemeinsamen Teile aktiviert. (Hugging Face) Deshalb können zwei unterschiedliche Größenangaben auftauchen: die gesamte Parameterzahl und die Zahl der aktiven Parameter.
Weniger aktive Parameter können den Rechenaufwand gegenüber einem dichten Modell mit vergleichbarer Gesamtgröße reduzieren, während der Speicherbedarf für die vorhandenen Gewichte weiterhin erheblich sein kann. (Hugging Face) „Nur wenige aktiv“ bedeutet daher nicht automatisch „passt auf einen kleinen Rechner“.
Was der Router leisten muss
Die Verteilung der Tokens auf Experten ist selbst Teil des Modellverfahrens; eine ungleichmäßige Auslastung kann Probleme verursachen, weshalb MoE-Systeme Verfahren zum Lastausgleich verwenden. (Hugging Face) Die Effizienz entsteht also nicht allein dadurch, viele Teilnetze bereitzustellen.
Vergleiche Modelle deshalb auch im vorgesehenen Betrieb. Miss den Speicherbedarf und die Laufzeit mit deinen Eingaben und prüfe die Ergebnisse. Die Architektur kann Unterschiede erklären; ob sie sich in deinem Anwendungsfall auszahlt, zeigt erst dieser Vergleich.
Verwandte Begriffe
Direkt passend sind Dense Model, Expert Router, Aktive Parameter, Shared Expert, Load-Balancing Loss und Expert Parallelism. Ein Multi-Agent-System gehört auf eine andere Ebene und sollte damit nicht verwechselt werden.