Motion Graphics mit KI - Wo suchen?

[Nedsch]

Ich wusste bis gestern nicht, dass solche Animationen mit KI möglich sind. Ich hatte vor einigen Wochen bei Runway ein paar Euro investiert und ein bisschen experimentiert. Und damit lässt sich ganz nett etwas Bewegung beispielsweise in ein Foto bringen.
Aber diese Animationen sind eine andere Hausnummer:

Video posted by dreammachineai

civitai.com

Video posted by syntaxdiffusion

civitai.com

Video posted by the_marconi

civitai.com

Sieht so aus, als ob es hier weniger dem Zufall überlassen wurde, was am Ende raus kommt. Nun ist mir ein Rätsel, wie so etwas gemacht wird. Bei YouTube habe ich nichts brauchbares gefunden. Es gibt dort schon einige Videos zu KI-Animationen. Aber nicht auf diesem Niveau. Irgendwo habe ich etwas gelesen von QR-Code Monster. Ein QR-Code-Generator für Animationen?
So viel scheint sicher, das ganze ist nicht trivial. Eher eine Wissenschaft für sich.
Hat jemand eine Idee, wo man an den Workflow für solche Animationen kommt?

 

[Nedsch]

Falls es jemanden interessiert. Ich bin heute zufällig bei YouTube auf ein Video gestoßen, dass in die Richtung geht. Die Animation ist etwa ab Sekunde 15 zu sehen. Allerdings kann ich bei diesem Workflow nur mit den Ohren schlackern.

PS: keine Ahnung, warum das Video nicht anzeigt wird. Rechtsklick und Video-URL kopieren funktioniert aber.
Hab’s angepasst. Grüße, KBB

 

[KBB]

Video im 2. Beitrag.. Ah, jetzt. Ich änder das mal bei Dir.
Ob man dafür zwingend den Touchdesigner braucht, weiß ich nicht. Von dem lese ich nun das 1. Mal. Wow, gute Preise

Deine Videos im 1. Post wurden mit Stable Diffusion, einem eigenen Checkpoint und einigen Plugins erstellt. Dazu gibt es zig Videos auf YT und Co., wenn man weiß, wonach man suchen soll. Das bezieht sich u.a. darauf, dass es mehrere Techniken für Animationen gibt. So oder so ist das aber immer sehr viel Arbeit.

SD kannst Du kostenfrei auf Deinem Rechner, Win, Mac, Linux, lokal installieren, wenn Du eine starke Nvidia Karte mit mind. 8GB VideoRAM Dein eigen nennst, oder auf einem Google Colab Account im Netz. Das unterscheidet SD von allen anderen ArtGenAIs, für die man idR Geld hinlegen muss. Die Imstallation ist aber auch nicht ganz einfach für Ungeübtr, die Bedienung übrigens auch nicht, egal ob mit ComfyUI oder Automatic1111 oder per reine Consoleneingabe oder oder …
Ich weiß auch nicht, ob es überhaupt möglich ist, dass man bei Midjourney und Co Plugins und Checkpoints nutzen/wechseln könnte.

Checkpoints sind Bildtrainings-Modelle, mit denen Du Bildinhalte und Stile direkt steuern kannst, also der eigentlichen Bild-Ausgabe eine Richtung verleihen. Das hier in Animation 1 und 3 genutzte Modell heißt übrigens HelloYoung25D und scheint einem bestimmten Mangastyle zugrunde zu liegen. Weshalb der Trainer des Modells auch auf Urheberrechte hinweist und Nutzung nur im nichtkommerziellen Bereich empfiehlt. Welche Plugins genutzt wurden, und wie die Animationen nun genau erstellt wurden, haben die Macher leider nicht beschrieben, aber es gibt da einige Möglichkeiten.
Wenn Du weitere Fragen dazu hast, kannst Du mir auch gerne eine PN schicken.

 

[KBB]

Nun ist mir ein Rätsel, wie so etwas gemacht wird. Bei YouTube habe ich nichts brauchbares gefunden. Es gibt dort schon einige Videos zu KI-Animationen. Aber nicht auf diesem Niveau.

Das sind zwei verschiedene Dinge.
Bewegungen gezielt vorgeben ist eine und kann mit verschiedenen Mitteln wie Keyframe-Bildern oder Poses gelenkt werden, oder beidem.
Die Qualität ist allerdings eine schwierige Sache und hängt mit dem Rauschen zusammen. Die momentan bekannten ArtGenAIs „lesen“ kurz und dilettantisch beschrieben Bilder aus einem Rauschen nach Vorgaben, nachdem zuvor solche Bilder als Trainingsvorgang immer weiter mit Rauschen überdeckt wurden. Schwieriger Gedanke, entscheidend ist aber wohl dieses Rauschen wenn ich das richtig wiedergebe, welches in jedem einzelnen Frame Unterschiede in Bereichen (wie dem Hintergrund, aber auch dem Fokus) generiert. Diese Unterschiede sind schwierig wegzubekommen, aber auch dazu gibt es Methoden. Letztlich ist es, wie Du schon selbst gesagt hast, viel Arbeit.

Edit: und ja, es scheint oft auch andere Software untergemischt zu werden. Ich hatte mir vor Kurzem erst Videos zum Thema mit ziemlich flickerarmen Bildmaterial nur in SD generiert angeschaut, finde die aber grad nicht wieder.

Edit2: Marconi, der mit dem Auto, erklärt in kurzen Worten, wie er vorgegangen ist. Da hast Du vermutlich das QRCodeMonster gefunden, ein Plugin mit dem man - man staune - mehr oder weniger lesbare QR Codes in generierten Bildern unterbringen kann. Möglicherweise, meine momentane Vermutung, wurde das Plugin zweckentfremdet für die anderen Logos.
Außerdem liefert er einige seiner Dateien, die notwendig sind, solche Animationen in ComfyUI (das ist eine node-basierte Useroberfläche für Stable Diffusion. Gut, wenn man vorher SDNext oder Automatic1111 kennengelernt hat.) umzusetzen.
Wenn Du also mal SD + Comfy installiert hast, kannst Du versuchen, auf diesen Spuren zu wandeln..

 

[Nedsch]

Vielen Dank für die Hinweise. Von Touchdesigner habe ich gestern auch das erste mal gehört. Scheint ein krasses Tool zu sein. Denke auch, es geht auch ohne diesen. Vor zwei Tagen habe ich Stable Diffusion und ComfyUI installiert. (Was schon eine kleine Herausforderung war.) Aber noch nichts damit ausprobiert.
Ich fand, bei allen YouTube-Videos zu diesem Thema - bis auf das gestrige - kommt zwar eine Animation raus. Aber keine so flüssige und komplexe wie bei den genannten Beispielen.
Werde mich im neuen Jahr weiter damit beschäftigen. Finde es schon spannend. Aber gestern eine Krise bekommen. Weil ich den Eindruck hatte, ich komme mit der Technik und den jungen YouTubern nicht mehr hinterher.
Schöne Weihnachten.

 

[KBB]

Ich habe mir Marconis Workflow Datei eben mal in Comfy angeschaut. Anscheinend geht es hier um eine Technik, wo schon vorhandene Videos per AI mit einem neuen Stil versehen werden. Es wurde nicht das gesamte Video von Comfy erstellt. Zu solchem Vorgehen gibt es jede Menge, auch unterschiedliche, Anleitungen im Netz.
Leider teilt Marconi nicht sein Basisvideo, aber man kann natürlich mit eigenen Sachen testen. Das Netzwerk ist allerdings schon etwas komplexer, selbst wenn man schon mit Comfy generiert hat. Du musst dazu zuerst einige Nodes nachladen, damit das Netzwerk überhaupt komplett angezeigt wird, und dann alle Modelle und andere fehlenden Inhalte ziehen (Checkpoints, Lora, Detailer etc.).
Irgendwann die Tage. Frohes Fest und so.