---
term: "Model Merging"
slug: "model-merging"
glossar_id: "G110"
variants: ["Modellzusammenführung"]
category: "training-daten-und-modellanpassung"
marker: "Technik"
short: "Kombinieren vorhandener Modellgewichte zu einem neuen Modell."
sources:
  - label: "Wortsman et al."
    url: "https://proceedings.mlr.press/v162/wortsman22a.html"
  - label: "Hinton et al."
    url: "https://arxiv.org/pdf/1503.02531"
  - label: "Hugging Face LoRA"
    url: "https://huggingface.co/docs/peft/en/package_reference/lora"
status: "entwurf"
updated: "2026-09-20"
---

Model Merging kombiniert Gewichte vorhandener Modelle zu einem gemeinsamen Modell. ([Wortsman et al.](https://proceedings.mlr.press/v162/wortsman22a.html)) Ein untersuchtes Verfahren sind „Model Soups“, bei denen Gewichte mehrerer aus derselben vortrainierten Grundlage entstandener Fine-Tuning-Varianten gemittelt werden. ([Wortsman et al.](https://proceedings.mlr.press/v162/wortsman22a.html))

## So kannst du dir das vorstellen

Stell dir mehrere sorgfältig abgestimmte Einstellungen derselben Maschine vor. Eine Einstellung entstand nach einer etwas anderen Optimierungsrunde als die andere.

Du könntest versuchen, aus diesen Einstellungen eine gemeinsame Konfiguration abzuleiten. Das unterscheidet sich davon, mehrere Maschinen parallel arbeiten zu lassen und anschließend über ihre Ergebnisse abzustimmen. Ebenso wäre es etwas anderes, die Ergebnisse einer Maschine als Lernmaterial für eine neue zu verwenden.

## Gewichte statt Antworten kombinieren

Die Model-Soups-Arbeit grenzt das Mitteln von Gewichten vom Zusammenführen mehrerer Modellvorhersagen ab: Das Ergebnis ist ein einzelnes Modell ohne den zusätzlichen Inferenzaufwand des entsprechenden Ensembles. ([Wortsman et al.](https://proceedings.mlr.press/v162/wortsman22a.html)) Die untersuchten Varianten beruhen auf einem gemeinsamen vortrainierten Ausgangsmodell und liegen häufig in einem zusammenhängenden Bereich niedrigen Fehlers. ([Wortsman et al.](https://proceedings.mlr.press/v162/wortsman22a.html))

Diesen Befund solltest du nicht auf beliebige, unabhängig entstandene Modelle übertragen. „Zwei gute Modelle“ ist noch keine ausreichend genaue Beschreibung geeigneter Zutaten.

## Kein Zusammenschütten von Wissen

Distillation verfolgt einen anderen Weg: Ein Schülermodell wird anhand der Ausgaben eines Lehrermodells trainiert, statt dessen Gewichte mit anderen Gewichten zu mitteln. ([Hinton et al.](https://arxiv.org/pdf/1503.02531)) Adapter Merging kann wiederum nur die Integration einer bereits trainierten Zusatzanpassung in ihre Basis meinen. ([Hugging Face LoRA](https://huggingface.co/docs/peft/en/package_reference/lora))

Für einen Versuch würde ich Herkunft, Architektur, gemeinsame Basis und Zusammenführungsverfahren dokumentieren. Prüfe anschließend jede relevante Fähigkeit separat. Eine neue kombinierte Gewichtsdatei ist ein neues Prüfobjekt, keine automatische Vereinigung aller Stärken ihrer Ausgangsmodelle.

## Verwandte Begriffe

Weitere Perspektiven liefern **Adapter Merging**, **Distillation**, **Model Parameters**, **Fine-Tuning** und **Checkpoint**.