Architektur und interne Modellbausteine
Load-Balancing Loss
Heißt auch Lastausgleichsverlust.
Zusätzlicher Lernterm zur gleichmäßigeren Auslastung von Experten.
Ein Load-Balancing Loss ist ein zusätzlicher Trainingsverlust, der in einem Mixture-of-Experts-Modell eine gleichmäßigere Verteilung der Tokens auf die Experten fördern soll. (Hugging Face) Ein „Loss“ ist dabei ein berechneter Fehler- oder Zielwert, dessen Einfluss beim Anpassen der Modellparameter berücksichtigt wird. (Hugging Face)
So kannst du dir das vorstellen
Stell dir einen Verteiler vor, der Arbeit an mehrere Stationen schickt. Wenn er fast alles an dieselbe Station weiterleitet, bildet sich dort ein Stau, während andere Stationen kaum genutzt werden.
Eine zusätzliche Bewertung könnte diese einseitige Verteilung ungünstig bewerten. Der Verteiler soll dadurch lernen, die Arbeit besser aufzuteilen. Das Bild veranschaulicht einen Trainingsanreiz, keine starre Regel, nach der jeder einzelne Auftrag an jede Station gehen muss.
Warum die Auslastung Teil des Lernziels wird
MoE-Router wählen nur einen Teil der verfügbaren Experten pro Token aus; ohne geeignete Gegenmaßnahmen können einzelne Experten deutlich häufiger genutzt werden als andere. (Hugging Face) Das kann die effiziente Ausführung beeinträchtigen und bei kapazitätsbegrenzten Verfahren Probleme mit überlasteten Experten verursachen. (Hugging Face)
Ein zusätzlicher Verlustterm bewertet deshalb beispielsweise die Verteilung von Routing-Wahrscheinlichkeiten und tatsächlichen Zuweisungen über eine Menge von Tokens. (Hugging Face) Er verlangt nicht, dass jedes Token von allen Experten verarbeitet wird. (Hugging Face)
Ausgleich braucht das richtige Gewicht
Ein zu starker Lastausgleichsverlust kann das eigentliche Lernziel beeinträchtigen; der zugehörige Modellbericht diskutiert diesen Zielkonflikt ausdrücklich. (DeepSeek-V3) Deshalb ist die Gewichtung des zusätzlichen Terms eine relevante Trainingsentscheidung. (DeepSeek-V3)
Lastausgleich muss außerdem nicht ausschließlich über einen solchen Verlust erfolgen: Die dort beschriebene Architektur verwendet anpassbare Routing-Biaswerte als Hauptmechanismus und behält einen kleinen ergänzenden sequenzbezogenen Ausgleichsverlust bei. (DeepSeek-V3) Die Bezeichnung „auxiliary-loss-free“ sollte in diesem Beispiel daher nicht als völliger Verzicht auf jede zusätzliche Balance-Komponente gelesen werden.
Verwandte Begriffe
Zur Einordnung dienen Expert Router, Mixture of Experts, Expert Parallelism, Training und Active Parameters.