Architektur und interne Modellbausteine
Shared Expert
Heißt auch Gemeinsamer Experte.
MoE-Experte, der unabhängig von der selektiven Expertensuche mitarbeitet.
Ein Shared Expert ist in entsprechenden Mixture-of-Experts-Architekturen ein Experten-Teilnetz, das für jedes Token aktiv ist, unabhängig von der Auswahl weiterer gerouteter Experten. (DeepSeek-V2) DeepSeekMoE kombiniert solche gemeinsamen Experten mit einer selektiven Auswahl aus zusätzlichen Experten. (DeepSeek-V2)
So kannst du dir das vorstellen
Stell dir eine Werkstatt vor, in der jedes Werkstück eine gemeinsame Vorbereitungsstation durchläuft. Anschließend werden je nach Werkstück zusätzliche Stationen eingesetzt.
Die gemeinsame Station veranschaulicht den Shared Expert, die auswählbaren Stationen die gerouteten Experten. Das Bild soll nur den Unterschied zwischen ständiger und selektiver Beteiligung zeigen. Es behauptet nicht, dass ein Modell seine Informationen tatsächlich in menschlich verständliche Arbeitsschritte zerlegt.
Gemeinsame und auswählbare Verarbeitung
In der beschriebenen Architektur werden die Beiträge der Shared Experts mit den gewichteten Ausgaben der ausgewählten gerouteten Experten kombiniert. (DeepSeek-V2) Die Autoren verfolgen damit das Ziel, allgemein benötigte Informationen in gemeinsamen Experten zu bündeln und Redundanz unter gerouteten Experten zu verringern. (DeepSeek-V2)
Dieses Architekturziel ist nicht gleichbedeutend mit einer Garantie, dass ein einzelner Experte ein klar abgrenzbares Wissensgebiet repräsentiert. Bezeichne ihn deshalb nicht ohne gesonderten Nachweis als „Allgemeinwissensmodul“ oder die anderen Experten als feste Fachabteilungen.
„Shared“ genau zuordnen
Gemeinsam genutzte Modellteile wie Attention existieren auch in MoE-Beschreibungen, ohne selbst Shared Experts zu sein. (Hugging Face, DeepSeek-V2) Der Begriff bezeichnet hier ausdrücklich einen bestimmten Expertenzweig im MoE-Baustein. (DeepSeek-V2)
Ebenso bedeutet „shared“ in diesem Zusammenhang nicht, dass mehrere Unternehmen oder Nutzer dasselbe Konto verwenden. Es geht um die Beteiligung des Teilnetzes an der Tokenverarbeitung.
Bei Angaben zu aktiven Parametern müssen diese dauerhaft beteiligten Experten mitgerechnet werden. (DeepSeek-V2) Lies daher eine Angabe wie „zwei Experten aktiv“ nur zusammen mit der Konfiguration: Beschreibt sie die geroutete Auswahl oder alle beteiligten Experten?
Verwandte Begriffe
Weiterführend sind Mixture of Experts, Expert Router, Active Parameters, Feed-Forward Network und Load-Balancing Loss.