Defocus Stacking

[helge07]

Beim Defocus-Stacking [T.Gockel: Bokeh, dpunkt-Verlag, 2016] überlagert man zwei Fotos: eine scharfe Aufnahme des Motivs und eine unscharfe Aufnahme des Hintergrunds. Es wird eine exakte Maske des Motivs manuell erstellt, beide Ebenen werden damit überlagert und das Ergebnis wird weiter manuell optimiert.

Erfolgreiche Ansätze, die Informationen aus einem Bilderstapel mit zunehmender Fokussierung des Hintergrunds zu nutzen, gibt es meiner Kenntnis nach nicht. Ich habe daher versucht, das Problem wie folgt in den Griff zu bekommen:
- Zugrunde liegt ein Bilderstapel mit einer scharfen Aufnahme des Motivs in der oberste Ebene 0 und weiteren Aufnahmen mit zunehmender Defokussierung des Hintergrunds bis zur untersten Ebene.
- Für das oberste Bild des Stapels wird eine Maske errechnet, die das Motiv vor dem Hintergrund grob freistellt. Dazu wurden zwei unterschiedliche Verfahren gewählt (Connected Components und GrabCut)
- Die Maske wird erweitert und geglättet, um die Überblendung zu verbessern und das maskierte oberste Bild des Stapels wird mit dem darunterliegenden überlagert.
- Das Ergebnis der Überblendung wird als neues Vordergundbild mit dem dritten Bild im Stapel überlagert, wozu die Maske wieder erweitert wird.
– Dies wird bis zum untersten Bild im Stapel wiederholt.
– In einem letzten Schritt wird das scharfe Motiv aus Ebene 0 mit der Originalmaske über das Ergebnis des Stapelpozesses gelegt und damit nahtlos in dieses integriert.

Hier eine Schematische Darstellung des Vorgangs:




Beispiel 1:
scharfe Motiv-Aufnahme:


unscharfer Hintergrund:


Ergebnis eine Stapels aus 8 Bildern:


Beispiel 2:
scharfe Aufnahme:


unscharfer Hintergrund:


Ergebnis eine Stapels aus 4 Bildern:


Für alle, die das selbst testen wollen, habe ich den 'DefocusStacker' hier zum Download bereitgestellt:

DefocusStacker (msi-Installer für Windows10):


DefocusStacker (portable Version für Windows10):


DefocusStacker(PS) (für Photoshop):

 

[LikeLowLight]

Aus der Beschreibung kann ich den Zweck des Verfahrens nicht erkennen, die Gründe dafür sind:
1. Beim Fotografieren kann man die blendenbedingte Schärfentiefe, in dem Fall eben die gezielte Unschärfe des Hintergrunds nutzen.
2. Bis zu einem bestimmten Grad könnte so ein Verfahren genutzt werden um die Ausprägung der Unschärfe in unterschiedlichen Entfernungen vom Hauptmotiv etwas zu bestimmen.
3. Im Ergebnisbild kann ich das zweite Bild, mit dem unscharfen Hintergrund, nicht erkennen.
Nun bin ich ziemlich ratlos.

 

[Rata]

3. Im Ergebnisbild kann ich das zweite Bild, mit dem unscharfen Hintergrund, nicht erkennen.
Nun bin ich ziemlich ratlos.

Dann mach' 'ma die Knöpp 'uf
Mit Verlaub!


Lieber Gruß
Rata

 

[LikeLowLight]

Lieber Gruß
Rata

Wenn Du mir schon Deine jungen Augen nicht leihen kannst, wären ein paar verbale Hinweise hilfreich.
Ich finde den groooooßen Unschärfekreis rechts hinter dem Kopf im "unscharfen Bild" nirgendwo im Endbild.

Zeige Dich mal von der gnädigen Seite, wenn nicht, werde ich es auch überleben.

 

[helge07]

Aus der Beschreibung kann ich den Zweck des Verfahrens nicht erkennen, die Gründe dafür sind:
1. Beim Fotografieren kann man die blendenbedingte Schärfentiefe, in dem Fall eben die gezielte Unschärfe des Hintergrunds nutzen.
2. Bis zu einem bestimmten Grad könnte so ein Verfahren genutzt werden um die Ausprägung der Unschärfe in unterschiedlichen Entfernungen vom Hauptmotiv etwas zu bestimmen.
3. Im Ergebnisbild kann ich das zweite Bild, mit dem unscharfen Hintergrund, nicht erkennen.
Nun bin ich ziemlich ratlos.

ad 1.
Die blendenbedingte Unschärfe setzt große Blendenöffnungen voraus und solche Objektive sind teuer. Das gezeigte Beispiel ist aus acht Bildern errechnet, die alle mit f/8 aufgenommen wurden.

ad2.
Das Verfahren führt mit schrittweise erweiterten Masken vom scharfen Bild in den Hintergrund. Der große Kreis wird verdeckt durch Hintergrundanteile aus darüber liegenden Schichten des Stapels. Durch sorgfältige Wahl des Parameters 'kernelsize' wird der auch sichtbar:

 

[Rata]

Wenn Du mir schon Deine jungen Augen nicht leihen kannst, wären ein paar verbale Hinweise hilfreich.
Ich finde den groooooßen Unschärfekreis rechts hinter dem Kopf im "unscharfen Bild" nirgendwo im Endbild.

Zeige Dich mal von der gnädigen Seite, wenn nicht, werde ich es auch überleben.

Ich hatte das von vornherein so verstanden, daß methodisch ein Stacking Richtung Unschärfe — Modewort „Bokeh“ — erzeugt werden soll. Stackings bestehen immer aus einer größeren Anzahl von Aufnahmen, aber wem „erklär“ ich das gerade?
Das Endergebnis eines Stackings hat immer eine harmonische Verrechnung der scharfen Bereiche zu sein, hier jetzt der unscharfen Partien des Bildes.
Wiederfinden, also einzeln identifizieren, sollte man da möglichst gar nix können, sonst wär dat doch nix!

Die Verrechnung des Hintergrundes, der „Unschärfebilder“ erschien mir sehr, sehr gut gelungen. Kann ich zwar nix mit anfangen, bin Mac®-User — und ich hasse jede Bildmanipulation, die künstliches Bokeh erzeugt als „Verrat an der Photographie“ , anerkennen muß ich das trotzdem, weil es geeignet wäre, mein auf Altgläsern geschultes Rattenauge zu täuschen.

Mehr sach ich jetz' nich', sonst krieg ich noch 'nen „Kottornado“ [© by Rata]

...


Lieber Gruß
Rata

Ps: Ich schulde Dir immer noch eine Antwort aus dem Makro-Thread. Angefangen und immer mal wieder fortgeführt hatte ich die schon, Fertigstellung wird aber noch dauern. Du könntest mir natürlich, wenn Du magst, Deine Festnetznummer per PM schicken, dann erklär' ich Dir mein Vorhaben am Telefon.
Schuldig bleiben möchte ich jedenfalls keine Antwort

 

[LikeLowLight]

Der große Kreis wird verdeckt durch Hintergrundanteile aus darüber liegenden Schichten des Stapels.

Das ist ja das große Problem beim üblichen Fokus-Stacking, dass nämlich beim Verschieben der Schärfenebene nach hinten, die vorderen, anfänglich "scharfen" Bildteile unscharf werden, so dass, wie man in dem Bild in #5 sieht, Halos entstehen. Die müssen dann entweder durch ein geeigneteres Verfahren oder durch manuelle Bearbeitung, i.e das Freistellen des Vordergrundobjekts, vermieden werden.
Das neue Blütenbild zeigt jedoch sehr schön, dass auch ganz lichtstarke Objektive ihre Grenzen haben. Denn wenn der Hintergrund so nah am Objekt ist, wird oft bei f 1.2 oder f 1.4 der Hintergrund relativ zu scharf abgebildet, dafür hat man bei so einem Maßstab gar nicht alle Teile des Vordergrunds wirklich scharf.
Wenn ich das 85 mm f 1.2, das ab etwa 1,2 m scharf stellen kann, für ein Porträt mit offener Blende verwende, dann habe ich eine Schärfentiefe von 1 oder 2 cm, also kann ich ganz frontal fotografiert, bestenfalls beide Augen einigermaßen scharf abbilden. Man sieht auch bei sehr vielen Porträtaufnahmen, dass spätestens die Ohren, jedenfalls der Haarkranz schon unscharf wird. Wenn man eine eher offene Blende wählt. Der Hintergrund besteht da dann beinahe nur aus Unschärfekreisen. Allerdings muss so ein Hintergrund auch zum eigentliche Motiv passen, der darf nicht beliebig sein.
Etwas, das man ja auch an der Holzfigur gut erkennen kann, denn für die ist der Hintergrund sehr vorteilhaft gewählt.

Deine Festnetznummer

Das ist nicht so einfach, denn ich habe nur ein Wertkartenhandy, das auch nur eingeschaltet wird, wenn ich weggehe. Daheim ist es aus, das verlängert die Funktionsdauer von Akkus gewaltig, meines lebt schon gut 10 Jahre und die Akkukapazität reicht mir noch immer.
Aber vielleicht kannst Du ja ein Produktfoto machen, auch als Dokumentation für ein revolutionäres Lichtsystem, das in 100 Jahren in den Technischen Museen ausgestellt wird.

 

[tdorsch]

Du willst so quasi den Portraitmodus vom Smartphone erstellen? Ginge der ganze Vorgang nicht auch als Aktion in Photoshop?

 

[helge07]

Du willst so quasi den Portraitmodus vom Smartphone erstellen? Ginge der ganze Vorgang nicht auch als Aktion in Photoshop?

1. Das Erstellen der Ausgangsmaske halte ich nicht für realisierbar mit Mitteln von Photoshop: selbst, wenn man die Algorithmen GrabCut und Connected Components irgendwie damit nachbauen könnte, wäre das extrem ineffizient.
2. Eine externe Implementierung der Maskenerstellung würde auf den Aufruf externer Programme aus PS heraus hinauslaufen. Das wird aber von PS verhindert.
3. Möglich wäre eine Implementierung als PS-Plugin. Darauf möchte ich mich aber nicht einlassen.
4. Der Portrait-Modus der Smartphones verwendet - soweit ich das verstanden habe - keinen Bilderstapel, sondern nur eine Aufnahme und zeichnet den HG per Software weich.

 

[LikeLowLight]

- Für das oberste Bild des Stapels wird eine Maske errechnet, die das Motiv vor dem Hintergrund grob freistellt. Dazu wurden zwei unterschiedliche Verfahren gewählt (Connected Components und GrabCut)
- Die Maske wird erweitert und geglättet, um die Überblendung zu verbessern und das maskierte oberste Bild des Stapels wird mit dem darunterliegenden überlagert.

Mir ist noch immer nicht verständlich, warum diese Prozedur erforderlich ist. Vielleicht müsste ich dazu das Buch lesen, doch das Buch habe ich nicht. Ein Test der verlinkten Installationsdatei fällt auch weg, da explizit Win10 vorausgesetzt wird.

Warum die Methode nicht einsichtig ist liegt daran, dass ich es zwar schwierig, jedoch nicht unmöglich sein kann, das Objekt im Vordergrund freizustellen. Da auch die beschriebene Methode nicht zaubern kann, zumindest lese ich das aus den Beschreibungen heraus, und eine manuelle Nachbearbeitung inklusive der Übergänge des Umrisses erfordert, kann ich es auch ohne Drittanbieter freistellen.
Der Hintergrund kann danach beliebig gestaltet werden, also kann ich den ursprünglichen Hintergrund ohne Motiv manuell unscharf stellen, so wie ich es benötige. Ich kann auch ein paar unterschiedliche Unschärfen probieren. Ich kann einen beliebigen, noch besser passenden Hintergrund einfügen.
So frage ich mich, wozu der Aufwand? Und was haben plötzlich Smartphone-Fotos damit zu tun? Dass Smartphones vor allem seltsame Techniken für Fotos nutzen, ist ja evident. Dass die dann einfach eine Weichzeichner für solche Effekte nutzen, wundert nicht. Und da die Bilder dann bestenfalls auf Minidisplays für (durchschnittlich) Sekundenbruchteile angeschaut werden, ist auch so, also nicht unbedingt hohe Qualität erforderlich.

 

[helge07]

Mir ist noch immer nicht verständlich, warum diese Prozedur erforderlich ist

1. T. Gockel hat in dem o.a. Buch den Begriff 'Defokusstacking' wohl als erster benutzt und seine Methode an einem Beispiel gezeigt: Es handelt sich um eine exakte manuelle Freistellung eines Vordergrund-Objekts vor einem Hintergrund. Der DefocusStacker macht genau das aber nicht, weil er gar keine exakte Maske hat.

Warum die Methode nicht einsichtig ist liegt daran, dass ich es zwar schwierig, jedoch nicht unmöglich sein kann, das Objekt im Vordergrund freizustellen

Wenn eine exakte Maske zuverlässig automatisch erstellt werden könnte, wäre das in Photoshop schon längst eingebaut. Da auch neuere Verfahren wie GrabCut das nicht für jedes Bild leisten können, baue ich auf einer ungenauen Maske auf. Der beschriebene Überlagerungsprozess kompensiert das (sicher nicht bei jedem Bild, aber doch ziemlich oft.)

Hier einmal zwei Beispiele originaler GrabCut-Masken.


Zu den möglichen Optimierungsmaßnahmen bitte meine Anleitung zum DefocusStacker lesen. Sie haben nichts mit einer manuellen Nachbearbeitung der Maske zu tun, sondern verändern nur die Parameter von GrabCut bzw. Connected Components.

was haben plötzlich Smartphone-Fotos damit zu tun

nichts, das war nur eine Antwort an @tdorch.

 

[LikeLowLight]

Wenn eine exakte Maske zuverlässig automatisch erstellt werden könnte, wäre das in Photoshop schon längst eingebaut.

Da Software oder eben Computer ganz allgemein nichts erkennen können, wird das noch lange Zeit ein frommer Wunsch bleiben. So bleiben eben, grob gesprochen, nur Kanten als Anhaltspunkt, wenn die Übergänge farblich kaum zu unterscheiden sind und auch kaum Tonwertunterschiede haben, kommt jeder Algorithmus ins Schwimmen. Die geschnitzte Figur ist ohnehin ein Traum für jedes Programm. Die Umrisse sind scharf, der Hintergrund, auch bei ähnlicher Farbe, sehr, sehr hell. Das schafft ja das einfachste Programm. Die Methode mir dem Vorder- und Hintergrund wird seit gefühlten ewigen Zeiten von Topaz Remask verwendet, auch das vergleichbare Programm von Franzis macht es auf ähnliche Art. Das Schnellauswahlwerkzeug von PS arbeitet prinzipiell ähnlich, nur dass es die gewählten Bereiche nicht farblich markiert, doch ist es lernfähig, weil es Bereiche, die zurückgenommen werden sich zukünftig "merkt", also beim nächsten Versuch andere Farbbereiche oder eben Bereichsgrenzen wählt. Allerdings kann die Auswahl nur im Maskierungsmodus manuell verändert werden, was im Vergleich zu den genannten Programmen eine deutlich schlechtere Nachbearbeitung erlaubt.
Nur, hat man mal die Auswahl festgelegt, kommt immer noch der Bereich der Mischfarben genau an der Kante ins Spiel. Auch dieses Beispiel mit der geschnitzten Figur umschifft das auf die übliche Art, üblich für Tutorials, nämlich so, dass der Hintergrund sich nicht wirklich vom Objekt unterscheidet. Hat man nämlich tatsächlich harte Übergange, so sind die in keinem Foto wirklich hart, das kann keine Kamera und kein Sensor, würde auch unecht wirken. Fügt man also anstelle eines hellen Hintergrunds einen neuen, dunklen ein, so muss man diese Stellen, will man wirklich genau arbeiten, manuell bearbeiten, oft an manchen Stellen von dunkel nach hell und an anderen genau umgekehrt. Das macht dann eben richtig Spaß.
Bei diesem Verfahren, wenn man also jedenfalls den originalen Hintergrund, nur mit stärkerer Unschärfe, einfügt, ist das vermutlich nicht so ausgeprägt, dafür muss man besonders darauf achten, dass die Unschärfekreise des Objekts dann im Hintergrund nicht sichtbar sind, was ja das eine Bild mit dem "Unschärfen-Halo" sehr schön zeigt.

 

[tdorsch]

Und was haben plötzlich Smartphone-Fotos damit zu tun? Dass Smartphones vor allem seltsame Techniken für Fotos nutzen, ist ja evident. Dass die dann einfach eine Weichzeichner für solche Effekte nutzen, wundert nicht.

So ganz stimmt das nicht. Die neuen iPhone berechnen dazu mehrere Aufnahmen und deren spezielle Auswertung. Nur eine Kontur finden und weichzeichnen machen einfache Programme.

Wobei mir leider der Aufwand nicht sinnvoll erscheint. Wo soll der Anwendungsfall sein? Micro4Third-Kamera und relativ geschlossene Blende? Klar sind lichtstarke Objektive an der SLR teuer. Aber damit machst Du einen Klick, kontrollierst die Wirkung und dann wird gearbeitet. Und zwar über ganze Bildstrecken. Das Problem der vielen nachträglichen "Freistellungen" liegt eher darin, dass viele keine Ahnung haben, wie eine Unschärfe realistisch ausschaut und einfach am Filter schrauben.
Ich werde mal wenn ich etwas Zeit habe, das Verfahren am Mac nachvollziehen.

 

[Rata]

Das Problem der vielen nachträglichen "Freistellungen" liegt eher darin, dass viele keine Ahnung haben, wie eine Unschärfe realistisch ausschaut und einfach am Filter schrauben.

Das befürchte (!) ich ebenfalls.

Ich werde mal wenn ich etwas Zeit habe, das Verfahren am Mac nachvollziehen.

Du lässt mich hoffentlich teilhaben...


Lieber Gruß
Rata

 

[LikeLowLight]

So ganz stimmt das nicht.

Das ist ja nicht der Punkt. Aus den Threads davor war nicht von Smartphones zu lesen, bis es plötzlich, wie bei einem fehlerhaften Link, ohne Zusammenhang auftaucht. Die vom TO beschriebene Softwarelösung funktioniert mit Win10, also ist nicht gerade eine Affinität mit dem angebissenen Apfel zu erkennen. Dass Smartphones allen mögliche Firlefanz bei ihren Fotos haben und machen, ist auch an mir nicht spurlos vorbeigegangen. Siehe Antwort in #11, also OT.

dass viele keine Ahnung haben, wie eine Unschärfe realistisch ausschaut und einfach am Filter schrauben.

Da wird dann üblicherweise der Weichbügler eingesetzt, nur selten sieht man Versuche, Unschärfekreise zu generieren. Liegt eben auch daran, dass eine Software die Tiefe eines Bilds und damit die Größe der jeweils passenden Kreise nicht errechnen kann. Topaz Bokeh ist so ein Beispiel.

Korrektur: Bokeh stammt von Alien Skin.

 

[tdorsch]

Das ist ja nicht der Punkt. Aus den Threads davor war nicht von Smartphones zu lesen, bis es plötzlich, wie bei einem fehlerhaften Link, ohne Zusammenhang auftaucht.

Mach Dich locker. Ich hatte versucht eine sinnvolle Anwendung zu erkennen, weil ich den ganzen Aufwand nicht nachvollziehen kann, warum. Der einzige Anwendungsfall, der auch einem breiten Anwenderfeld betreffen würde, wäre die Nachstellung eines "Portraitmodus" (wie aus Smartphones bekannt) mit Hilfe von Software am PC/Mac.

also ist nicht gerade eine Affinität mit dem angebissenen Apfel zu erkennen.

Das hat auch niemand behauptet. Es arbeiten aber doch einige der Leser an einem Mac. Und wenn es auch auf dem mac zu adaptieren wäre, wäre das doch hilfreich für das Publikum.

Dass Smartphones allen mögliche Firlefanz bei ihren Fotos haben und machen, ist auch an mir nicht spurlos vorbeigegangen. Siehe Antwort in #11, also OT.

Von Firlefanz habe ich auch nicht gesprochen. Was interessant ist, auch im Hinblick auf dieses Verfahren des TE, das die neuen iPhones über mehrere Belichtungen, FaceID und Brennweiten die Tiefeninformation des Objektes sehr gut erfassen können. Also nicht irgendetwas erst über einen Logarithmus herausfinden müssen und mit dieser Information diese Unschärfen erstellen.

 

[LikeLowLight]

Mach Dich locker. Ich hatte versucht eine sinnvolle Anwendung zu erkennen

Das war ja auch für mich der einzige Grund, darauf zu antworten. Ich kann jedoch mit den geposteten Beispielbildern keine Nähe zu Porträtaufnahmen erkennen. Die geschnitzte Figur hat bereits ein ziemlich starkes Bokeh, die Pflanze eben nur nicht die gewünschte Unschärfe, die kriegt man bei so geringen Abständen und einem relativ großen Objekt ohnehin nicht hin, ist eben mit einer unscharfen Aufnahme und mit Freistellen des scharfen Objekts ohne weiteres jederzeit hinzukriegen. Also bin ich auch nicht klüger geworden, doch vielleicht stimmte es ja, dass ich im Gegensatz zu Dir zu verkrampft bin. Danke für den Hinweis.