Video Generation

Videoerzeugung erweitert die Bilderzeugung um die Zeit. Statt eines Bildes entsteht eine Folge, und die Schwierigkeit liegt in der Konsistenz: Dieselbe Person muss über hunderte Einzelbilder dieselbe bleiben, Gegenstände dürfen nicht verschwinden, Bewegungen müssen physikalisch plausibel wirken. Blattmann et al.

Erst die Architektur machte längere Clips möglich

Technisch werden Videos als Folge von Bildeinheiten über Raum und Zeit behandelt, verarbeitet von derselben Architektur, die auch Text verarbeitet. Peebles und Xie Damit lässt sich Training in einer Größenordnung betreiben, die vorher nicht praktikabel war.

Der Rechenaufwand bleibt die Grenze. Ein paar Sekunden Video kosten ein Vielfaches eines Bildes, sowohl im Training als auch bei der Erzeugung. Deshalb sind Clips kurz, und Ton kommt in der Regel aus einem getrennten Schritt.

So kannst du dir das vorstellen

Ein Daumenkino, dessen Blätter einzeln gezeichnet werden, wobei jedes zum vorherigen passen muss. Je länger das Kino, desto eher schleichen sich Abweichungen ein. Das Bild erklärt das Konsistenzproblem, es beschreibt kein konkretes Verfahren.

Was es in der Praxis konkret bedeutet

Für Marketing und Produktvisualisierung sind kurze Clips heute brauchbar, bei bewegter Kamera und komplexen Szenen bleibt Nacharbeit. Kalkuliere mit vielen Versuchen: Die Trefferquote pro Erzeugung ist niedriger als bei Bildern, und jeder Versuch kostet. Kennzeichnungspflichten und Rechte an abgebildeten Personen gehören geklärt, bevor etwas veröffentlicht wird.

Wo es verwechselt wird

Erzeugte Videos sind nicht dasselbe wie manipulierte Aufnahmen realer Personen, auch wenn dieselbe Technik dahintersteht. Und die vorgeführten Ergebnisse in Ankündigungen sind ausgewählte Treffer, nicht der Durchschnitt.

Verwandte Begriffe

Text-to-Image, Deepfake, Modality, Classifier-Free Guidance, Audio Generation, Provenance.