Adam Jensen - 3D versus KI

Das ist zumindest meine Prognose nach mehreren Experimenten, über die ich hier schreiben möchte. Eigentlich war dieser Schritt erst später im Verlauf der Produktion gedacht, aber ein kleiner Test nebenbei zog meine Aufmerksamkeit auf sich.

Das Experiment beginnt mal nebenbei

ChatGPT ist für mich nicht nur ein guter Gesprächspartner sondern auch ein hervoragender Bildgenerator. Durch die Möglichkeit des iterativen Kommunizierens können wir zusammen ziemlich exakt Bilder bearbeiten. Und während einer solchen Session gab ich der KI einfach mal unser Jensen-Files-Titelbild und bat die KI, dieses spaßenshalber in ein photorealistisches Portrait übersetzen. Schon nach der zweiten Korrektur hatte ich ein Ergebnis, das mich wirklich fesselte:

Für jemanden, der mehrere Male mit diesem Charakter gelitten, gefühlt und über Wochen durch eine dystopischer Zukunft gereist ist, hat dieser Anblick etwas offenbarendes. Als ob sich ein letzter Schleier hebt. Gleichzeitig war damit auch eine technische Frage zumindest in ihrer Möglichkeit beantwortet: KI kann uns definitiv unterstützen. Erst produzieren wir den Film in 3D mit relativer Detailtreue. Danach verleiht die KI den Bildern den letzten Schliff.

Ein Workflow zeichnet sich ab

Dieser Ansatz garantiert uns mehrere Probleme zu lösen, die KI generierte Filme (teilweise noch) haben. Gerade lokale KI ist in den folgenden Punkten sehr anfällig für Fehler und da wir im Endprozess lokale KI bevorzugen, sind folgende Punkte tatsächlich wichtig für uns:

1) Unser Charakter bleibt konsistent. Alle Besonderheiten werden ins finale Bild übernommen. Besonders Adam ist mit seinen vielen Details anfällig für hinzugefügte oder weggedachte Halluzinationen. Keine Knöpfe, Ohringe etc. verschwinden oder tauchen auf.

2) Wir können mehrere Charaktere im Bild kontrollieren. Hier scheitern selbst aktuelle Highend-Modelle, weshalb KI Filme häufig immer nur einen Charakter länger im Bild halten können.

3) Wir haben die volle Kontrolle über die Bewegung der Szene. Hier bleibt abzuwarten, wie sehr uns KI helfen kann, auch diese ins Natürliche zu korrigieren.

4) Mit diesen Vorteilen können wir uns jede Menge Fehlversuch in der immer noch sehr zeitaufwändigen Generierung von Videomaterial sparen. Ein positiver Umstand, der uns nicht nur Zeit, sondern auch 'ne Menge Strom sparen wird.

Adam Jensen im Tageslicht

Beim Betrachten der beiden Bilder bemerkt man zusätzlich subtile Korrekturen des Lichts und auch der Blickrichtung Jensens. Besonders der Bereich um die Augen ist den stärksten Veränderungen unterworfen. Ich korrigierte diese nach und wollte zusätzlich wissen, wie schlägt sich mein 3D Modell im direkten Verglich mit KI bei Tageslicht.

Hier sieht man besonders gut, wo hier die Leistung der KI liegt: feine Wimpern, eine porigere Hautoberfläche, der Feuchtigkeitsfilm auf den Augen und damit eine realistische Reflektion, sowie die Korrektur der Augeninnenwinkel.

Zusätzlich nimmt die KI eine subtile Farbkorrektur vor, die aus meiner Sicht wenig stört. Der Gesamteindruck bleibt erhalten, die Korrektur erarbeitet lediglich das, was sowieso in der Postproduktion zu tun gewesen wäre.

Positiv fiel unter Tageslicht der nur noch marginale Unterschied zwischen 3D und KI auf. Ein Umstand, der klar den herausragenden Fähigkeit von Blender zuzuschreiben ist. Das linke Bild wurde in gerade einmal 12,71 Sekunden unter Cycles gerendert. Es ist nicht mehr viel, was noch fehlt, um den Betrachter zu überzeugen, jedoch ist dieser letzte Schritt immer noch unentbehrlich, um die filmische Illusion aufrecht zu erhalten.

Wer dies selbst einmal ausprobieren möchte, dem empfehle ich im KI Prompt deutlich zu machen, dass die Geometrie des Charakters vollständig erhalten bleiben und lediglich feine Details ergänzt werden sollen. Zudem hilft es, das gesendete Bild nicht zu hoch aufgelöst in die KI zu speißen, damit genug Spielraum bleibt, um diese Details zu erwirken.

Wie es weitergeht

Als nächster folgt nun der Schritt vom Standbild hin zum Video. Dazu haben wir bereits mehrere Modelle im Blick, die es jedoch noch zu testen gilt. Vorher jedoch widmen wir uns KI generierter Charakteranimation. Auch hier haben sich in den letzten Monaten gravierende Neuerungen mit lokalen Modellen ergeben.

Abschließend muss ich noch einmal sagen, dass uns dieser Test echt beindruckt hat. Noch vor ein paar Jahren waren solche Ergebnisse unmöglich erreichbar. Zuende gedacht haben wir jetzt quasi einen echten Menschen auf unserer Festplatte liegen, den wir in jeder denkbaren Pose auf ein Foto bannen können, ohne dafür den Schreibtisch zu verlassen. Und das auf den kleinen Finger genau.

Das wird sicher vielen Fotografen helfen, schneller hochwertige Fotos präzise herzustellen, gleichzeitg aber auch Fotomodelle in Teilen obsolet machen. Ich bin mir selbst nicht sicher, ob ich das gut finde. Fakt ist jedoch, KI ist gekommen um zu bleiben.

Grüße gehen raus, Winni & Doreen.