KI-Tools für die Videoproduktion

„Runway AI“: Text-to-Video-KI

Ein Strand mit Palmen. Ein Screenshot aus einem Video, das mit der KI „Runway“ erzeugt wurde

18 Sekunden bis zu einer Vorschau-Ansicht und ca. 90 Sekunden bis zum fertigen Video – so lange dauert das Berechnen und Generieren eines künstlichen Videos mit dem Anbieter Runway AI. 4 Sekunden lang ist dann das Ergebnis. Optional, also für die Kosten von ein paar zusätzlichen Credits, kann das 4-Sekunden-Video von der KI anschließend um 4 weitere Sekunden verlängert werden. Die Videos werden mit 24 fps generiert und haben, wenn man ein kostenpflichtiges Abo hat, eine Auflösung von 1792 x 1024 Pixel.

Mit Runway AI und der dort angebotenen aktuellen Funktion „Gen-2“ können solche kurzen Videos entweder per Text-Eingabe (Prompt) oder auf Basis eines Referenzfotos erzeugt werden. Auf einer Skala von 1 bis 10 kann die Stärke der Animation, bzw. der Bewegung in dem zu generierenden Video eingestellt werden. Zusätzlich kann die Kamerabewegung definiert werden: soll z. B. von links nach rechts oder von oben nach unten geschwenkt werden? Oder soll im Video gezoomt werden?

Für die Generierung ist außerdem die Möglichkeit interessant, direkt in Runway die Videos mit Zeitlupe länger zu machen oder einzelne Bildelemente zu retuschieren, bzw. störende Bildelemente mit einem Pinsel zu entfernen. Letztere Funktion hat bei mir in vielen Fällen aber noch nicht gut funktioniert.

Hier ist ein Zusammenschnitt von einigen Beispielvideos, die ich mit Runway durch Text-Eingaben oder über ein Referenzfoto erzeugt habe. Die einzelnen Videos habe ich in Premiere Pro zusammen geschnitten und mit Musik unterlegt:

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden

YouTube immer entsperren

Insgesamt finde ich die künstlich generierten Videos von Runway sehr spannend und inspirierend. Es klappt schnell, aus einfachen Text-Beschreibungen ein Video entstehen zu lassen – solange keine Menschen realistisch und erkennbar in dem Video zu sehen sein sollen. Die Darstellung von Menschen in einer Bewegung ist meines Erachtens noch nicht ausgereift.
Besonders spannend finde ich die Kamerabewegungen, die automatisch für jedes Video gesetzt werden. Aber auch die Möglichkeit, die Kamerabewegungen individuell zu definieren, finde ich sehr gelungen, um Bewegungsanschlüsse (für den späteren Schnitt) zu berücksichtigen. Die fertigen Videos sind aber nicht besonders ,realistisch‘ und erinnern eher an Animationsvideos oder Videospiele. Die KI-Videos eignen sich deshalb (momentan) gut, um abstrakte und assoziative Sachverhalte darzustellen.

Insgesamt sind mir folgende Aspekte bei Runway aufgefallen, die man berücksichtigen sollte:

• Landschaften, Gebäude, Gegenstände und Tiere kann Runway gut generieren und in Videos darstellen. Bei Menschen, vor allem in Großaufnahmen, sehen Gesichter und Körper häufig verzerrt und unnatürlich aus
• Generell funktioniert das Morphing zwischen den einzelnen Frames meistens gut, es kann aber sein, dass die KI zu stark ,halluziniert‘ und das Video sich dadurch verfremdet oder plötzlich in eine ganz andere visuelle Richtung entwickelt. Zum Beispiel können vereinzelt Bildelemente plötzlich verschwinden oder neue Elemente werden willkürlich dazu generiert
• Die Funktion, ein einmal generiertes Video mit weiteren 4 Sekunden zu verlängern, führt häufig zu einer zu starken Verfremdung oder zu visuellen Wiederholung des bisher Gezeigten. Um das Video zu verlängern, sollte besser die Zeitlupen-Funktion genutzt werden
• Die Videos haben häufig Helligkeits- und Belichtungssprünge, vor allem gegen Anfang und Ende
• Manchmal weicht das generierte Video von dem ausgewählten Vorschaubild ab