Chunk

Ein Chunk ist ein Abschnitt eines Dokuments, wie er für die Suche gespeichert und abgerufen wird. Das Zerlegen selbst heißt Chunking. Gesucht und gefunden wird in einer Wissenssammlung fast immer der Abschnitt, nicht das ganze Dokument, weil ein vollständiges Handbuch weder in den Prompt passt noch genau genug wäre. Gao et al.

Beim Schneiden geht Zusammenhang verloren

Üblich sind Abschnitte von einigen hundert Tokens. Dabei entsteht ein Problem, das sich schwer wegkonfigurieren lässt: Der Abschnitt verliert den Bezug zum Dokument. Ein Satz wie „der Umsatz stieg um drei Prozent" steht dann ohne Firma und ohne Zeitraum da und ist für eine gezielte Frage kaum auffindbar. Anthropic: Contextual Retrieval

Eine Gegenmaßnahme besteht darin, jedem Abschnitt vor dem Einbetten ein paar Sätze Einordnung voranzustellen, die ihn im Dokument verorten. In dem dokumentierten Versuch sank die Fehlerquote beim Abruf dadurch deutlich.

So kannst du dir das vorstellen

Chunking ist das Zerschneiden eines Buches in Zettel. Wer nach einem Stichwort sucht, bekommt einen Zettel und nicht das Buch. Steht auf dem Zettel nicht, aus welchem Kapitel er stammt, ist er schwer einzuordnen. Das Bild erklärt den Verlust an Zusammenhang, es gibt keine Schnittregel vor.

Was es in der Praxis bedeutet

Sinnvoll ist, an inhaltlichen Grenzen zu schneiden, also an Überschriften, Absätzen oder Listenpunkten, statt nach fester Zeichenzahl. Tabellen und Code vertragen das Zerschneiden besonders schlecht und brauchen meist eine eigene Behandlung.

Zweitens gehören Herkunftsangaben an jeden Abschnitt: Dokument, Abschnittsüberschrift, Version, Datum. Das hilft beim Suchen und macht die spätere Quellenangabe in der Antwort erst möglich. Wenn Nutzer sagen, die Antwort stimme nicht, ist der erste Blick in die abgerufenen Abschnitte meistens aufschlussreich.

Wo es verwechselt wird

Ein Chunk ist kein Token: Tokens sind die Verarbeitungseinheiten des Modells, Chunks die Einheiten der Suche. Und die Abschnittsgrenze ist keine inhaltliche Aussage, sondern eine technische Entscheidung beim Aufbereiten.

Verwandte Begriffe

Chunk Size, Retriever, Embedding, Retrieval-Augmented Generation, Metadata Filtering, Tokens.