Multimodalität und angrenzende generative KI
Image Patch
Teilbereich eines Bildes als Verarbeitungseinheit eines Vision-Modells.
Ein Image Patch ist eine quadratische Kachel eines Bildes, etwa 16 mal 16 Pixel groß. Die Zerlegung in solche Kacheln ist der Schritt, der ein Bild für eine Transformer-Architektur verarbeitbar macht: Jede Kachel wird zu einem Vektor und damit zum Gegenstück eines Text-Tokens. Dosovitskiy et al.
Kachelzahl bestimmt Kosten und Detailtreue
Die Rechnung ist einfach und folgenreich. Ein Bild mit 224 mal 224 Pixeln ergibt bei 16er-Kacheln 196 Einheiten. Bei doppelter Kantenlänge sind es viermal so viele, und der Rechenaufwand der Aufmerksamkeit wächst überproportional.
Deshalb verkleinern viele Modelle Eingabebilder auf eine feste Größe, was feine Details kostet, etwa kleine Schrift in einem Screenshot. Neuere Ansätze zerlegen große Bilder in Ausschnitte und verarbeiten diese einzeln, um Details zu erhalten. Liu et al.
So kannst du dir das vorstellen
Ein Bild wird durch ein Raster betrachtet, Feld für Feld. Ein gröberes Raster ist schneller zu erfassen und lässt Kleingedrucktes verschwinden. Das Bild erklärt den Zusammenhang von Auflösung und Detail, es beschreibt keine konkrete Umsetzung.
Was es in der Praxis konkret bedeutet
Wenn ein Modell Details auf deinem Bild übersieht, ist die Auflösung der erste Verdacht. Hilfreich ist, den relevanten Ausschnitt vorher zuzuschneiden, statt das ganze Bild zu schicken: Das erhöht die effektive Auflösung des wichtigen Teils und spart Tokens. Bei Dokumenten gilt dasselbe seitenweise statt für das ganze PDF.
Wo es verwechselt wird
Kacheln sind keine Objekte im Bild. Die Zerlegung ist ein starres Raster, das Objekte mitten durchschneidet. Und die Kachelzahl ist nicht die Tokenzahl in der Abrechnung, die Anbieter rechnen unterschiedlich um.
Verwandte Begriffe
Vision-Language Model, Modality, Multimodal Projector, Token, OCR, Computer Vision.