Apps wie Prisma haben es vorgemacht: Aus einer Vorlage wird unter Verwendung von Algorithmen der ihr innewohnende Style ermittelt und dann auf ein Ausgangsbild übertragen. Die benannte Anwendung wurde zum Erfolg (), unzählige Male heruntergeladen, und ließ aus einem eigenen Foto ein Bild entstehen, das den Stil eines vorausgewählten Kunstwerks nachempfand.
Das Problem bisheriger Algorithmen dieser Art: Das Ausgangsbild wird nicht nur in seinem Stil entfremdet, sondern zugleich ergeben sich auch wie gemalt wirkende Endergebnisse. Was fehlt, ist ein möglichst fotorealistischer Style-Transfer, bei dem der Effekt des gemalten Erscheinungsbildes ausbleibt.
Eine Frühlingsaufnahme von grünen Bäumen werde zu einem Herbstbild mit bunten Blättern, ein bei Tage aufgenommenes Foto tauche ein in die Abendstimmung – das alles möglichst so, dass es am Ende immer noch wie eine „echte“ Aufnahme aussieht.
Dieser Herausforderung haben sich Forscher von Adobe in Kooperation mit Forschern von der Cornell University angenommen. In ihrer Veröffentlichung „Deep Photo Style Transfer“ (PDF) zeigen sie allerhand Resultate, die beachtlich erscheinen. Eine gelbe Blüte verwandelt sich in eine rote, ein Haus unter Sonnenhimmel in ein Haus bei Nacht, ein trist wirkendes Zimmer mit weißer Wand in eines mit farblicher Atmosphäre und einer grünlichen Wand.
Im Titelbild dieser News sind zwei Beispiele zu sehen, links die Originale, in der Mitte die Vorlagen mit dem zu kopierenden Style und rechts die Ergebnisse.
Zum Einsatz kommt ein neuronales Netzwerk, welches zweierlei Dinge bearbeitet: [*]Bei Anwendung der bisherigen Verfahren verwackeln gerade Kanten und regelmäßige Muster werden wellig. Diese räumlichen Verzerrungen werden jetzt verhindert, außerdem betrifft der Transfer nur die Farben des Bildes, im Umkehrschluss also nicht dessen Strukturen. [*]Sowohl die Vorlage als auch das Ausgangsbild werden semantisch segmentiert, um ungewünschte Übertragungen zu vermeiden. Die Algorithmen „wissen“ also, wo sich in den Bildern zum Beispiel Himmel, Wasser oder Bäume befinden, sodass der „himmlische Stil“ nicht aus Versehen im Wasser landet.Alle Informationen erhaltet ihr in der Veröffentlichung (öffnet PDF), dort finden sich auch weitere Beispielbilder. Die Ausgangsbilder sind darin jeweils mit „Input“ gekennzeichnet, die Vorlagen mit „Reference“ oder „Style“ und die Ergebnisse aus der angeführten Forschung mit „Our result“. Zudem gibt es den Code und weitere Bilder auf GitHub.
Euer Jens
Bildquelle Vorschau und Titel: Veröffentlichung "Deep Photo Style Transfer" von Fujun Luan und Kavita Bala (Cornell University), Sylvain Paris und Eli Shechtman (Adobe)
