---
term: "Expert Parallelism"
slug: "expert-parallelism"
glossar_id: "G087"
variants: ["EP","Expertenparallelismus"]
category: "architektur-und-interne-modellbausteine"
marker: "Technik"
short: "Verteilung der MoE-Experten auf mehrere Rechengeräte."
sources:
  - label: "Hugging Face"
    url: "https://huggingface.co/blog/moe"
  - label: "DeepSeek-V2"
    url: "https://arxiv.org/pdf/2405.04434"
  - label: "Hugging-Face-Glossar"
    url: "https://huggingface.co/docs/transformers/en/glossary"
status: "entwurf"
updated: "2026-09-20"
---

Expert Parallelism verteilt die Experten eines Mixture-of-Experts-Modells auf mehrere Rechengeräte, sodass unterschiedliche Geräte unterschiedliche Experten ausführen. ([Hugging Face](https://huggingface.co/blog/moe)) Die den Experten zugewiesenen Token-Darstellungen müssen dafür zu den jeweiligen Geräten übertragen und die Ergebnisse anschließend wieder zusammengeführt werden. ([Hugging Face](https://huggingface.co/blog/moe))

## So kannst du dir das vorstellen

Stell dir einen Betrieb mit mehreren Werkhallen vor. Nicht jede Halle besitzt dieselben Maschinen. Ein zentraler Verteilprozess schickt Werkstücke zu den jeweils benötigten Stationen und sammelt die Ergebnisse anschließend wieder ein.

So lässt sich mehr Ausstattung gemeinsam nutzen, als in eine einzelne Halle passen würde. Gleichzeitig kosten Transport und Warten Zeit. Die Analogie macht sichtbar, warum die Verteilung allein noch keine bestimmte Beschleunigung garantiert.

## Routing und Gerätezuständigkeit

Der Expert Router entscheidet auf Grundlage der internen Token-Darstellung, welche Experten beteiligt sein sollen. ([Hugging Face](https://huggingface.co/blog/moe)) Expert Parallelism legt dagegen fest, auf welchen Geräten diese Experten liegen und ausgeführt werden. ([Hugging Face](https://huggingface.co/blog/moe))

Sind die ausgewählten Experten auf anderen Geräten untergebracht, entstehen Kommunikationsschritte für den Hin- und Rücktransport der Darstellungen. ([Hugging Face](https://huggingface.co/blog/moe)) In verteilten MoE-Systemen kommen dafür unter anderem All-to-All-Kommunikationsmuster zum Einsatz, bei denen Geräte Daten mit mehreren anderen Geräten austauschen. ([DeepSeek-V2](https://arxiv.org/pdf/2405.04434))

## Warum die Verteilung ausgewogen sein muss

Werden manche Experten viel häufiger gewählt, können einzelne Geräte stark belastet sein, während andere warten. ([Hugging Face](https://huggingface.co/blog/moe)) Lastausgleich und begrenzte Kommunikationskosten sind deshalb wichtige Teile eines praktikablen MoE-Systems. ([DeepSeek-V2](https://arxiv.org/pdf/2405.04434))

Expert Parallelism verteilt Experten, während Data Parallelism Modellkopien unterschiedliche Daten verarbeiten lässt und Tensor Parallelism Tensoren sowie die zugehörige Verarbeitung auf Geräte aufteilt. ([MoE-Erklärung](https://huggingface.co/blog/moe), [Hugging-Face-Glossar](https://huggingface.co/docs/transformers/en/glossary)) Expert Parallelism lässt sich beispielsweise mit Data Parallelism kombinieren. ([Hugging Face](https://huggingface.co/blog/moe))

Bei einer Hardwareplanung solltest du daher Geräteverbindungen, Speicherbedarf und Auslastung gemeinsam betrachten. Die Zahl der verfügbaren Grafikkarten beantwortet noch nicht, ob die vorgesehene Expertenverteilung effizient läuft.

## Verwandte Begriffe

Passend sind **Mixture of Experts**, **Expert Router**, **Load-Balancing Loss**, **Active Parameters**, **Data Parallelism** und **Tensor Parallelism**.