KI-Tools für die Videoproduktion: Image-to-Video

Text-to-Image-KI

Die KI Midjourney kann per Texteingabe beeindrucke Bilder erzeugen. Um den Bildgenerator Midjourney zu nutzen, braucht man einen Account bei Discord. Das Anlegen eines Discord-Accounts ist kostenlos und bei Midjourney kann man zwischen kostenlosen und kostenpflichtigen Abos wählen. Die Unterschiede zwischen den Abos liegen u. a. in den Nutzungsrechten und in der Anzahl der Bilder, die man generieren kann. Wenn man bei Discord angemeldet ist, kann man dort über den Midjourney-Server dem Bot prompts (Textbefehle) schicken. Aus diesen prompts erzeugt die KI dann 4 Bild-Vorschläge, von denen man entweder direkt ein Bild auswählt und es final hochskaliert oder man lässt sich weitere Variationen erzeugen.

Um das gewünschte Ergebnis zu erzielen, muss man häufig mit den prompts variieren und unterschiedliche Formulierungen ausprobieren. Man kann sowohl inhaltlich, als auch technisch oder gestalterisch das zu erzeugende Bild beschreiben. Da ich ein Bild zum Thema Ostern generieren lassen wollte, startete ich zunächst ganz allgemein mit dem Befehl „Easter Bunny with filmcamera“. Die KI erzeugte diese Vorschläge:

Vier Bildvorschläge, erzeugt von der KI Midjourney

Ich hatte Glück und es war sofort ein Vorschlag dabei, der mir gefallen hat. Version 3 (V3) unten links hatte ich sofort ins Herz geschlossen. Wie so häufig bei Midjourney-Bildern gab es aber auch etwas, das mich störte: Warum ist unten links am Bildrand eine Tasche (?) zu sehen!? Dieses Bildelement störte mich. Ich wies die KI also an, von V3 weitere Versionen zu erzeugen. Leider enthielten alle 4 neuen Versionen von V3 auch die Tasche unten links im Bild. Auch mein Versuch, V3 hochzuskalieren und dann als Link dem Bot erneut als Vorlage zu schicken mit dem Befehlt, die Tasche zu entfernen, blieb erfolglos. Das führte leider zu sehr surrealistischen Bildern, in denen ein Hase aus einer Tasche herauswuchs. Also blieb für mich nur noch die Möglichkeit, das hochskalierte V3 Bild in Photoshop zu bearbeiten und die Tasche dort zu entfernen. Das fertige Ergebnis ist ganz oben im Artikelfoto zu sehen.

Image-to-Video-KI

Im nächsten Schritt sollte dieses Standbild animiert werden. Dazu nutzte ich den Anbieter kaiber. Bei kaiber kann man u. a. Bilder hochladen und diese nach Vorgaben zu einem Video animieren. Auch bei diesem Anbeiter kann man auch zwischen einem kostenlosen und kostenpflichtigen Account wählen. Dort habe ich mein Oster-Foto hochgeladen, zunächst noch in der Version mit der Tasche unten links im Bild. Im Grunde wird auch hier wieder mit prompts gearbeitet, um zu beschreiben, was und wie das Bild animiert werden soll. Kaiber liefert dafür schon fertige Textbausteine als Vorschläge, zwischen den man wählen kann. Beim ersten Durchgang erzeugte die KI diese Videoanimation:

Das Ergebnis ist eine für Kaiber typische Videoanimation: Ausgehend von einem ersten Bild werden andere folgende Bilder künstlich berechnet und erzeugt, die dann ineinander geblendet, bzw. gemorpht werden. Gleichzeitig wird ein Zoom-Effekt angewendet, wobei die Kamera nach Vorgaben auch anders animiert werden kann. So wird mit 12 Bildern pro Sekunde (12 fps) eine Reihe von Bewegtbildern erzeugt, die am Ende wie eine Videoanimation aussehen. Die Dauer der Animation kann im Vorfeld definiert werden, wobei jede zusätzliche Sekunde Credits kostet, die im Account hinterlegt sind und verrechnet werden. Der ganze Produktionsprozess dauert nur wenige Minuten.

Bezeichnend ist, wie geschickt die KI die Einzelbilder visuell miteinander verbindet und dabei berechnet, welches Bild anschließend folgt. Man sieht in diesem Beispiel auch schön, wie gelungen menschliche Gesichter erzeugt und visuell durchdekliniert werden können.

Inspiriert von diesem Video wollte ich direkt mehr ausprobieren: Wie oben beschrieben habe ich zunächst aus dem Ausgangsfoto von Midjourney die Tasche unten links entfernt und diese neue Version bei Kaiber hochgeladen. Für eine neue Videoanimation habe ich bei Kaiber anschließend auch die prompts geändert und individuell eingegeben: easter bunny, in the style of children’s book, nature, colorful, realistic. Herausgekommen ist dieser 8-Sekunden-Clip:

Ein zweiter Hase, auferstanden aus einer Kamera – wenn das mal keine frohe Osterbotschaft ist, erzeugt von einer KI. Ich finde das Ergebnis faszinierend und bin von der ,kreativen‘ Idee durchaus angetan. Dass sich am Ende in einem ,Happy End‘ zwei Osterhasen gegenüberstehen, hatte ich der KI ja gar nicht gesagt. Erst später durch andere Animationen ist mir klar geworden, dass Kaiber häufig weitere, noch nicht im Startbild enthaltene Tiere und Menschen aus Gegenständen ,heraus‘ und ,herein‘ animiert. Trotzdem eine schöne visuelle Überraschung, weil ich mir dadurch das Video direkt noch mehrmals anschauen wollte, um die Verwandlung nachzuvollziehen.

Kreativ betonen möchte ich, dass sowohl bei Midjourney als auch bei Kaiber bei identischen prompts stets unterschiedliche Ergebnisse erzeugt werden. In seiner Gesamtheit scheint am Ende jedes Ergebnis also ,einzigartig‘ zu sein.