---
term: "Vocabulary"
slug: "vocabulary"
glossar_id: "G037"
variants: ["Vocabulary Size","Token-Vokabular","Vokabulargröße"]
category: "tokens-tokenisierung-und-nachrichtenformat"
marker: ""
short: "Tokenvokabular und dessen Größe."
sources:
  - label: "Hugging Face"
    url: "https://huggingface.co/docs/transformers/tokenizer_summary"
  - label: "Hugging Face"
    url: "https://huggingface.co/docs/transformers/en/main_classes/tokenizer"
status: "entwurf"
updated: "2026-09-20"
---

Das Vocabulary ist der Tokenbestand, auf den ein Tokenizer zurückgreift. „Vocabulary Size“ bezeichnet dessen Größe, also die Anzahl der Einträge; darin können neben Wortteilen und Wörtern auch Spezialtokens enthalten sein. ([Hugging Face](https://huggingface.co/docs/transformers/tokenizer_summary)) Es handelt sich deshalb nicht um eine Wörterbuchgröße im üblichen sprachlichen Sinn. ([Hugging Face](https://huggingface.co/docs/transformers/tokenizer_summary))

## So kannst du dir das vorstellen

Du hast einen Baukasten mit großen und kleinen Bausteinen. Manche Formen lassen sich mit einem einzigen großen Teil bauen. Für andere brauchst du mehrere kleine.

Mehr unterschiedliche Teile können bestimmte Bauvorhaben vereinfachen. Aus der Anzahl der Teile allein erfährst du aber noch nicht, welche Bauwerke jemand damit sinnvoll konstruieren kann. Nutze die Vokabulargröße eines Sprachmodells deshalb nicht als Ersatz für einen Wissenstest.

## Auch neue Wörter lassen sich darstellen

Subword-Verfahren zerlegen Wörter in kleinere bekannte Einheiten und können dadurch auch Wörter darstellen, die nicht als vollständiger Eintrag im Vokabular vorkommen. ([Hugging Face](https://huggingface.co/docs/transformers/tokenizer_summary)) Ein neuer Firmenname benötigt also nicht zwangsläufig einen eigenen Token, damit er verarbeitet werden kann. ([Hugging Face](https://huggingface.co/docs/transformers/tokenizer_summary))

Für einen konkreten Einsatz ist ein Vergleich anhand typischer Texte aussagekräftiger als eine bloße Gegenüberstellung der Vokabulargrößen. Prüfe beispielsweise, wie beide Tokenizer mit deinem Fachwortschatz und deinen Produktkennungen umgehen.

## Größer ist eine technische Entscheidung

Ein Vokabular mit vielen vollständigen Wörtern benötigt entsprechend viele Einträge in der Embedding-Tabelle, die Tokens in Modellrepräsentationen übersetzt; das erhöht den Speicher- und Rechenbedarf dieses Modellteils. ([Hugging Face](https://huggingface.co/docs/transformers/tokenizer_summary)) Sehr kleinteilige Verfahren halten den Bestand kleiner, erzeugen dafür längere Tokenfolgen. ([Hugging Face](https://huggingface.co/docs/transformers/tokenizer_summary))

Wer einem bestehenden Tokenizer neue Tokens hinzufügt, muss außerdem die zugehörige Embedding-Matrix des Modells passend erweitern. ([Hugging Face](https://huggingface.co/docs/transformers/en/main_classes/tokenizer)) Einfach einen Eintrag in eine Liste zu schreiben ist daher keine vollständige Modellanpassung.

Vermerke beim Dokumentieren einer Größe, ob nachträglich hinzugefügte Tokens mitgezählt wurden. Entscheidend ist ein Vergleich auf derselben Grundlage.

## Verwandte Begriffe

**Token-ID**, **Subword Tokenization** und **Byte Pair Encoding** erklären, wie der Bestand genutzt wird. **Embeddings** und **Modellgewichte** führen zur Verarbeitung im Modell weiter.