Depth map erstellen

[maiara]

Wer kann mir helfen?
Ich habe vor ein Stereogram zu erstellen. Ich habe dazu das Programm StereogramWorkshop (Mac).
Soweit funktioniert alles. Nun möchte ich Stereogramme von eigenen Fotos erstellen, dazu braucht man eine Tiefenkarte. Wie erstelle ich diese am besten/einfachsten? Manuell mit Photoshop leider nicht sehr einfach.
Gibt es Programme für Mac die aus Bilderpaaren eine depth map erstellen? Oder wie schafft man es aus einem Foto zumindest eine halbwegs genaue Tiefenkarte hinzubekommen?

 

[Gelöschtes Mitglied 746345]

Hallo maiara,
hab grad bisschen gegoogelt. Ein Stereogram ist eine Mischung aus Hologramm und eben dem Wort Stereo.
Das ist das, was man auch mit Laser in diese Glaswürfel graviert?
Dephtmaps nicht mit Heightmap verwechseln ^^
Heigtmaps sind schwarzweiß und können auch mit Photoshop relativ einfach erstellt werden. Allerdings sind komplizierte
Motive wie ein Gesicht sehr schwierig umzusetzen. Das Programm analysiert die Grauwerte.
Depht Map ist ähnlich, wird aber meistens als Begriff im Zusammenhang mit speziellen Kameras (jetzt im neuen iPhone X oder in der legendären Microsoft Kinect) verwendet und beschreibt auch eher die Technologie, die dahinter steckt.

 

[KBB]

Ein Stereogramm ist eine Szene aus zwei Bildern, die aus zwei wenig unterschiedlichen Blickwinkeln, dem Augenabstand von meist 7cm, aufgenommen wurden. Diese können mit einfachen Hilfsmittel wie Spiegeln oder Linsen oder rot/grün-Brilen etc. jedem Auge einfach zugeführt werden und erwecken so im Hirn den für die Augen gewohnte Stereoeffekt. IdR. werden dafür auch gleich zwei Aufnahmen um die 7cm versetzt gemacht.

Ja, doch, im Grunde beschreibt beides exakt das gleiche: technisch gesehen eine schwarz/weiß Map, die mit ihren Helligkeitsdaten die Ausdehnung auf der fehlenden dritten Achse definiert. Das darf halt bei einer Heightmap ein Terrain sein und bei einem Stereogramm die Z-Achse, macht aber eben in beiden Fällen das gleiche. Das Wort beschreibt nur unterschiedliche Einsatzgebiete bei gleicher Funktion.

Die Frage, wie man sie errechnen kann, ist damit noch nicht geklärt. In 3D Programmen, wo sie beide zu Hause sind und idR. Eingesetzt werden, kann man das mit einfachen Befehlen lösen. Bei zwei Fotos ist die Depth Map wahrscheinlich nicht mehr nötig. Sie aus einem einzelnen Foto zu extrahieren, ist zwar bedingt möglich, aber sehr kribbelig. Ich weiß auch nicht, ob solche Software mittlerweile bezahlbar auf dem Markt erhältlich ist, aber sie wird verschiedentlich schon eingesetzt. Mit unterschiedlich gutem Erfolg. Im Kino sieht man auch hin und wieder Stereofilme, die nachträglich auf diese Weise mit dem 3D bzw. Tiefeneffekt versehen wurden. Aber dort hat man idR. Noch die Kamerabewegung, die das ganze unterstützt. Eine konkrete Software dazu kenne ich aber auch nicht.

In PS kann man versuchen, Bereiche zu markieren, die näher oder weiter weg sind von der Kamera, und die dann stärker oder leichter zu versetzen. Aber auch das ist Motiv abhängig und bestimmt keine lustige Arbeit.

Edit: versuche es mit einer Suche nach 2D to 3D Stereo conversion. Da kommt einiges. Hoffentlich bist du nicht auf den Mac beschränkt. Viel Erfolg!

 

[helge07]

1. Mit dem Zerine Stacker kann man die Tiefenkarte eines Bilderstapels erstellen und als SW-Bild ausgeben (erfordert die 30 Tage Testversion der Pro-Version). Beispiel-Bild:


2. Falls Interesse an den Methoden und Implementierungstechniken besteht kann ich dazu eine ältere Diplomarbeit (per PM) zur Verfügung stellen, allerdings nur den veröffentlichten Text. Der Quellcode unterliegt eine Non-Disclosure-Vereinbarung.

 

[pixelmaker]

Mit dem Zerine Stacker kann man die Tiefenkarte eines Bilderstapels erstellen

Ich kenne einen Zerene Stacker, mit dem kann man die scharfen Pixel aus einem Bilderstapel extrahieren und zu einem Bild zusammensetzen. Das geht im Photoshop auch, stacking ist aber keine Depth Map.
Eine Depth Map ist für mich ein Graustufenbild das die Tiefe in Helligkeitsunterschieden darstellt. Also, das Objekt ist 100mm tief, schwarz ist hinten, weiß ist vorne, die Ebene von -70mm wäre ein 70% Grau.
Eine Tiefenmap aus einer 3D Scene zu erstellen ist recht simpel. Aber in einem Foto sind keine Tiefeninformationen enthalten. Die muss man rein malen und das braucht Zeit und viel Übung. Ich brauche das hin und wieder für die Herstellung von Reliefs.
Eine Software die aus zwei Fotos eine Tiefenmap erzeugt würde mich interessieren, so etwas habe ich noch nicht gesehen.
Schau Dir mal CrazyBump an.
123catch von Autodesk ist mittlerweile ReCap Photo und das kenne ich nicht.

grüße

 

[helge07]

Eine Software die aus zwei Fotos eine Tiefenmap erzeugt würde mich interessieren

1. Der Zerene Stacker erstellt mit dem Verfahren DMAX eine Tiefenkarte aus einem Stapel mit >= 2 Bildern. In den Preferences muss man dazu einstellen, dass ausser dem Bild-Ergebnis des Stacking auch die Tiefenkarte ausgegeben wird. Die oben gezeigte MAP habe ich aus 20 Bildern erstellt. Hier ist eine Tiefenmap, die ich aus 2 Bildern erzeugt habe:



2. Methoden um aus Bildern 3D-Informationen zu bekommen spielen in der industriellen Bildanalyse und -verarbeitung eine wichtige Rolle. Software, die dort eingesetzt wird, ist für den Bildbearbeitungsbereich nicht geeignet (und viel zu teuer). Beispiele: ICONNECT (MICRO-EPSILON) oder Common Vison Blox (Stemmer).

 

[KBB]

Die Frage der TE bezieht sich ziemlich sicher auf einzelne Fotos. Ab 2 Stück - so sie im 7cm Abstand fotografiert wurfen - sollte kein Thema sein. Dazu gibt es eine Menge Software, die sich auf die alten, stereographischen Fotos beziehen.

Eine Software die aus zwei Fotos eine Tiefenmap erzeugt würde mich interessieren, so etwas habe ich noch nicht gesehen.

Neben den üblichen Verdächtigen für Photogrammetrie wäre das hier eines davon
https://triaxes.com/articles-on-technology/manual-depth-map-creation/
http://stereo.jpn.org/eng/stphmkr/index.html

Aber in einem Foto sind keine Tiefeninformationen enthalten.

Das ist zum Glück falsch ^^
Zum Pech können wir sie "per Hand" aber nicht mal eben extrahieren. Es ist jedoch durchaus schon Software auf Handys im Umlauf, die per 1 Photo gleich ein 3D Objekt erzeugen. Eine Spezialisierung für Archäologie wurde entwickelt. Es gibt auch Software für den PC. Nur eben noch nicht öffentlich erhältlich, oder sehr teuer. Oder einfach.

http://www.3dphoto.net/forum/index.php?topic=9805.0
http://www.3dcombine.com/

 

[pixelmaker]

Das ist zum Glück falsch ^^

Wenn Du dir den Beitrag mal anschaust dann siehst Du das dort Striche in Graustufen an die einzelnen Ebenen gemalt werden. Die Software macht nichts anderes als diese Striche in lineare Verläufe umzusetzen. Die Software erkennt anscheinend noch Kanten. Mehr kann diese Software nicht. Ich muss also, wie von mir oben beschrieben die Tiefe in Graustufen umrechnen. Ich rechne also, weil es eben in diesem Foto keine Tiefeninformation gibt.
Sehe ich mir die schwarze Linie an die die Null-Ebene bildet, so ist der Baum in der Tiefenmap einfach weg. Er wird nicht plastisch abgehoben sein.
Es wird irgendwie ein Tiefeneffekt sichtbar sein, ohne Frage. Diese Tiefenmap hat aber nichts mit der abgebildeten Realität zu tun.
Es beginnt schon mit den linearen Verläufen. Eine gebogene Kante kann nicht mit einem linearen Verlauf dargestellt werden.
Dieser lineare Verlauf

ergibt eine Dachform.

Eine korrekte Rundung aus einem Verlauf darzustellen ist mit Photoshop kaum möglich.
Eine einfache Übung wäre die Form eines Wassertropfen, dessen Form sich aus einem Verlauf ergeben soll.
Vielleicht habe ich auch andere Ansprüche und bin nicht mit der aneinanderreihung von platten Ebenen zufrieden.

grüße
Ralf

 

[KBB]

Wenn Du dir den Beitrag mal anschaust dann siehst Du das dort Striche in Graustufen an die einzelnen Ebenen gemalt werden.

Höhenlinien, okay. Hier eine schon ewas ausgereiftere von der Variante.
Dann kann diese Software das eben nicht, aber es gibt schon einige Jahre lang welche in verschiedenen Einsätzen (s.u.). Die schaut natürlich nicht nur nach hell-dunkel Unterschieden oder vorgegebenen Feldern, und ich bin davon überzeugt, dass dabei auch immer Kontrolle nötig ist.

Eine Art von Software hatte ich glaube oben schon genannt, die 2D Filme in 3D konvertiert. Sicher ist das Bewegtbild dabei hilfreich, aber das ist nur ein Teil von dem, was die Software leisten muss. Diese Software soll mit einer, wie soll man sagen, minimalen Intelligenz ausgestattet sein, muss aber eben immer noch kontrolliert werden. Wenn ich mich recht erinnere, war "Kampf der Titanen" ein 2D-to-3D Film. Schreckliches 3D, vermutlich auch eher ein Beispiel für die rein algorithmisch gelöste "on the fly" Konvertierung und nicht die "gute". Der Film hat nicht umsonst üble Kritiken auch von anderen Filmemachern deswegen erhalten. Aber ich werde nicht weiter danach suchen, die TE meldet sich eh nicht und ich vermute nach wie vor, dass die guten Sachen noch nicht in Consumer-Reichweite liegt, sonst hätte man davon schon gehört.

Ein Beispiel, was geht, zeigt diese relativ frische Gesichts-Konvertierung. Man lädt ein 2D Bild hoch und bekommt ein OBJ File davon (Link korrigiert ^^).
https://www.theverge.com/2017/9/18/16327906/3d-model-face-photograph-ai-machine-learning
Sicher, die Software "weiß" dass es sich immer um 2 Augen, Nase, Mund handelt, das Foto sollte einigermaßen frontal aufgenommen sein. Aber im Grunde "weiß" die andere Software eben auch eine Menge.

Hier ist so eine Software mit Algorithmen. Das ist nicht 100%, aber man sieht ganz gut, wie lernfähig Software gestaltet werden kann. Die Software ist von 2008 und war da schon eine Weile in Entwicklung.
http://make3d.cs.cornell.edu/

Auch das hier ist schon ein witziges Beispiel, letztlich beruhend auf Objekten, die in einer 3D Objekte-Datenbank auffindbar sind. Die Software gleicht also "nur" ab, und es ist sicher nicht einfach, das mit organischen und bewegten, also im weitesten Sinne "gemorphten" Objekten zu tun. Aber eben ein in seinem Rahmen funktionierender Ansatz.
https://www.3d-grenzenlos.de/magazi...ildbearbeitung-2d-fotos-manipulieren-2754573/

Die Archäologie-Software fürs Handy habe ich mittlerweile auch gefunden. Leider handelte es sich dabei doch um eine Art , das war in dem damals vorgestellten Beitrag anders dargestellt. Neu ist das Thema, aus 2D Bildern mehr oder weniger gute Ergebnisse in 3D zu erzielen, natürlich nicht. Aber die Methode funktioniert mit dem Handy, schnell und automatisiert. Wer Photogrammetrie-Software kennt, weiß, dass das nicht der Normalfall ist.

Einfach mal weiter danach suchen. Da ist noch mehr.

 

[pixelmaker]

Hallo
um die Conversion von 2D zu 3D zu machen wird hier eigentlich immer der gleiche Weg gewählt. Es wird ein ganz grobes 3D Objekt gebildet auf dem die Textur, also das Bild liegt. Das wird beim 3D modellieren schon lange gemacht. Ich habe eine Bibliothek von vielleicht 30 Kopfformen. Ich suche eine ähnliche Kopfform aus wie die auf dem Foto und projiziere das Foto auf diese Kopfform. Für ein Foto reicht es, aber wenn ich die Textur entferne ist auch die Ähnlichkeit weg. Die typischen Eigenschaften des Gesichts an der man die Person erkennt sind eben nicht in 3D vorhanden. Die Vorgehensweise wie es auf der i.materialise Seite mit dem Eichhörnchen und der Online Software Smoothie-3D.com gezeigt wird geht diesen Weg. Ich lasse seit Jahren meine 3D Drucke bei i.materialise anfertigen. Selbst dafür ist das erzeugte Modell nicht ausreichend. Auf diese Art ein 3D Modell nach einem Foto zu erzeugen gibt es in jedem 3D Programm in dem man modellieren kann, von Zbrush über C4D bis zu Blender.
Die Gesichtskonvertierung in diesem Link geht letztlich den gleichen Weg, nur das Ergebnis finde ich grottenschlecht. Wenn man sich etwas mit dem Thema beschäftigt und Köpfe in 3D braucht, dann holt man sich DAZ Studio und gleicht einen Kopf in wenigen Minuten an die gewünschte Kopfform an und legt die Textur auf. Dann gibt es nicht diese Flachschädel.

Tragbare 3D Scanner gibt es viele. Das in ein Smartphone zu verpacken ist sinnvoll, weil die Auflösungen der Kamera immer höher werden. Hier werden viele Fotos gemacht und daraus errechnet sich ein 3D Objekt. Autodesk hatte das mit 123Catch, jetzt als Autodesk ReCap 360 und leider nur für Android, wo man die Platzierung der Kamera für jedes Foto angeben musste. Die Daten über die Kamerapostionierung kann das Smartphone liefern. Leider ist kein Smartphone von der Rechenkapazität her in der Lage einen gut aufgelösten 3D Scan zu erzeugen.

Soderle, wie Du bereits bemerkt hast meldet sich der TE wie so oft nicht mehr.
Die OM3D Software schaue ich mir mal an, aber ich glaube nicht das sie mir neues bringt.
Ich selbst brauche Tiefenmaps die ohne Textur erkennen lassen um was es sich handelt. Meine Vorgehensweise geht dabei immer noch über das Modellieren in einer 3D Software nach dem Foto und der Erstellung der Tiefenmap aus den 3D Daten.
grüße
Ralf

 

[KBB]

Hallo
um die Conversion von 2D zu 3D zu machen wird hier eigentlich immer der gleiche Weg gewählt. Es wird ein ganz grobes 3D Objekt gebildet auf dem die Textur, also das Bild liegt.

Nope.
Ich verlinks Dir gerne nochmal, und Du liest Dir dann die Researches von beiden Links durch
http://make3d.cs.cornell.edu/

Auch die Gesichtskonvertierung baut auf mehr oder weniger intelligenten Algorithmen auf.
https://www.theverge.com/2017/9/18/16327906/3d-model-face-photograph-ai-machine-learning

Und wenn Du der Frage der TE und nachfolgenden Lesern nichts Konstruktives hinzufügen kannst, ist doch jeder weitere Beitrag überflüssig. Es geht doch nicht darum, ob diese Technik so und diese so funktioniert oder jemand behauptet, das ginge nicht - sondern in erster Linie darum, dass es geht, gemacht wird und existiert. Und zwar nicht erst seit gestern. Den Rest können sich interessierte Leser dann auch selbst zusammensuchen.

 

[pixelmaker]

Danke nochmals für die zwei Links.
Der erste endet auf einer Webseite von 2006 einer Universität (cornell.edu) und beschreibt die Forschung zu einer Software die aus einem Foto ein 3D Objekt erzeugen soll. Man soll ein Bild hochladen und bekommt dann, nach der Beschreibung, irgendwann eine Nachricht das das Bild zu einem 3D Objekt konvertiert wurde. Die Seite ist 11 Jahre alt, ich kenne sie auch fast schon so lange. Und so lange ich sie kenne zeigt sie unter dem Link "Upload (Disabled)" und "Visit 3-D Gallery" ein Ruby on Rails Skript. Das nennt man toten Link.

Zum zweiten Link habe ich schon etwas geschrieben. Hier wird eine Textur, nämlich das Foto, über einen 3D Kopf gezogen. Nach der Beschreibung wird die Form des Kopfes aus dem Foto erzeugt. Eine echte Umwandlung zu 3D geschieht nicht. Wenn man das Beispielfoto vom Typ mit der Brille verwendet ist die Brille um den Kopf gemalt, aber in keiner Weise im 3D Objekt enthalten.
Wenn ich das 3D Objekt runter lade sehe ich das der Kopf ohne Textur eher aussieht wie eine Kartoffel, aber keinerlei Ähnlichkeit mit einem Gesicht hat, abgesehen davon das die Schädel über den Augen zu Ende sind und flach werden.
Man kann nur raten um welches der 8 Köpfe es sich bei diesem Objekt handelt:

Ehrlich erkennen kann man nichts. Gebrauchen kann man das 3D Objekt bei dieser Auflösung auch nicht.
Abgesehen davon kann diese Software nur mit Gesichtern umgehen. Erkennt die Software kein Gesicht dann kommt eine Fehlermeldung.

Mit Sicherheit wurde die Software Make3D seit 2006 weiter entwickelt und ist dann irgendwo kommerziell wieder aufgetaucht.
Ich brauche aber Anwendungen die in einen sinnvollen Workflow passen und keine wissenschaftlichen Abhandlungen.

grüße