---
term: "Multimodal RAG"
slug: "multimodal-rag"
glossar_id: "G319"
variants: []
category: "embeddings-suche-und-retrieval-augmented-generation"
marker: ""
short: "Retrieval und Generierung mit mehreren Modalitäten."
sources:
  - label: "Faysse et al.: ColPali, Efficient Document Retrieval with Vision Language Models"
    url: "https://arxiv.org/abs/2407.01449"
  - label: "Gao et al.: Retrieval-Augmented Generation for Large Language Models, A Survey"
    url: "https://arxiv.org/abs/2312.10997"
status: "entwurf"
updated: "2026-09-21"
---

Multimodal RAG bezieht andere Inhalte als reinen Text in Abruf und Antwort ein: Bilder, Seitenlayouts, Tabellen, Diagramme, teils auch Ton und Video. Der Anlass ist praktisch: Viele Dokumente tragen ihre Aussage nicht nur im Fließtext, sondern in Abbildungen, Tabellen und der Anordnung auf der Seite. [Faysse et al.: ColPali](https://arxiv.org/abs/2407.01449)

## Die Textextraktion ist oft der Flaschenhals

Übliche Systeme ziehen zuerst Text aus den Seiten und indexieren diesen. Dabei geht verloren, was nicht als Text vorliegt, und die Extraktion selbst ist bei Tabellen und mehrspaltigen Layouts fehleranfällig.

Ein Gegenentwurf besteht darin, die Seiten als Bilder einzubetten und die Suche direkt darauf laufen zu lassen, statt sie über die Textextraktion zu führen. Für die Antwort braucht es dann ein Modell, das Bilder mitverarbeiten kann. Solche Erweiterungen der Datengrundlage gehören zu den Entwicklungslinien, die die Übersichtsliteratur zu RAG beschreibt. [Gao et al.](https://arxiv.org/abs/2312.10997)

## So kannst du dir das vorstellen

Der Unterschied ist der zwischen einem abgetippten Protokoll und einer Kopie der Seite. Im Protokoll fehlt, was in der Randnotiz und in der Tabelle stand. Die Kopie zeigt alles, verlangt aber jemanden, der Bilder lesen kann. Das Bild erklärt den Wechsel der Grundlage, nicht die Güte der Verfahren.

## Was es in der Praxis bedeutet

Prüfe zuerst, woran es bei deinen Dokumenten wirklich hakt. Wenn Antworten scheitern, weil Tabellen beim Extrahieren zerfallen, ist das der Hebel, und manchmal reicht dafür eine bessere Aufbereitung statt eines neuen Verfahrens.

Rechne außerdem mit höheren Kosten. Bilder belegen im Kontext deutlich mehr als derselbe Inhalt als Text, und die Antwort braucht ein Modell, das damit umgehen kann. Für Quellenangaben ist ein Seitenbild dagegen praktisch: Man kann die Fundstelle direkt anzeigen.

## Wo es verwechselt wird

Multimodal RAG heißt nicht, dass Bilder erzeugt werden, sondern dass sie abgerufen oder gelesen werden. Und ein Modell, das Bilder versteht, macht ein System noch nicht multimodal, solange der Abruf nur auf Text läuft.

## Verwandte Begriffe

**Retrieval-Augmented Generation**, **Embedding**, **Chunk**, **Retriever**, **Multimodal Model**.