3D Programme - Peripherie (Software)

[KBB]

= 11/23 ===================================================
=================== Peripherie-Software ===================
============== (und beizeiten auch Hardware) ==============
===========================================================

Wenn Du nicht von dort gekommen bist, schau Dich doch auch auf der Sprungseite um!

0. Einleitung (diese Seite)
1. Software zur Erstellung von (photorealistischen, PBR-) Materialien
2. Datenbanken/Bibliotheken/(Vertriebs-)Plattformen für 2D+3D-Assets*
3. Objektdigitalisierung (3D-Scan und Photogrammetrie) - Erläuterungen


0. Einleitung
Peripherie- (Hard- und) Software gibt es in sehr unterschiedlichen Arten und Mengen. Gemeint ist damit jedes Programm und jedes Tool, was wir vor, während und nach dem eigentlichen Objekt oder Szenenbau in der zentralen 3D Software noch so brauchen, um am Ende des Tages eine (bestimmte) fertige 3D-Datei/Szene/Whatever in der Hand zu halten, bzw. durch die rosa Brille zu betrachten. Also jede zusätzliche Grafiksoftware, 2D wie 3D, oder eben Hardware. Allen voran die hinlänglich allen Usern hier bekannten Vektor- und Bildbearbeitungsprogrammen, dicht gefolgt von ebensolchen für Video-Schnitt und Effekte (VFX**), aber auch Scan-Tools, MotionCapture Utensilien oder die bekannte 3D-Brille fürs Kino. Oder die VR-Brille, die die 3D-Szene „innen“ abspielt

Die Trennung zwischen den hier genannten Programmen und anderen 3D-Werkzeugen unter „3D-Programme“ wird nicht immer ganz eindeutig sein. Einige davon finden sich schon im 3D Programme-Thread, oder werden es über kurz oder lang: Echtzeit-Umgebungen (Game-Engines) z.B. ordne ich eher den 3D-Programme zu als die Bild- oder Videobearbeitung. Die brauchen wir wiederum, um Texturen zu basteln und zu schleifen, oder im Nachgang ein Rendering aufzupeppen oder zu schneiden. Auch diese Programme, und weitere, sind genau genommen Peripherie, selbst wenn ein externer Renderer, der Schnitt oder eine Game-Engine das Ziel sind (weshalb diese auch unter 3D-Programme zu finden sind, zumal Renderer ja idR. in der 3D-Software als Plugin genutzt werden ). Die Hauptsoftware bleibt für den 3D Artist die 3D Software "in der Mitte". Die Peripherie wird nicht zuletzt auch häufig von anderen Artists bedient.

Nicht alle Gruppen werden hier also Einzug erhalten! Letztlich ist dieser Bereich

• noch umfangreicher als der der verschiedenen 3D Programm-Gruppen
• mit Bildbearbeitung, Schnitt und VFX-Software auch hier im Forum gut abgedeckt
• so differenziert, dass ich mir nur einige Bereiche herauspicken werde.

Du kannst mir aber gerne eine PN schicken, wenn Du bestimmte Programme oder Gruppen hier vertreten sehen möchtest. Allerdings kann und werde ich hier nicht alle Bereiche abdecken
Dieser Thread bleibt bis zur "Fertigstellung" für Antworten geschlossen.

___________________________ Erklärbär ___________________________
* Asset, Datensatz, ist der im 3D-Sprech heute gängige Begriff für nahezu jede Art von Daten, die in und um ein 3D-Programm verarbeitet werden. Also ein Objekt, ein Licht, eine Szene, ein Material, ein Node, ein Shader, ein Film usw. Sie werden mittlerweile in fast allen 3D-Programmen über oft hauseigene Datenbanken verwaltet, was u.a. die Projekt-Arbeit mehrerer 3D-Artists an der gleichen Szene erleichtern soll.
** VFX = Virtual Effefcts, digitale Effekte. Stehen im Gegensatz zu SFX, Special Effects, reale wie Kunstblut und echte Explosionen. VFX werden idR. mit Compositing-Programmen wie Adobe After Effects, Foundry Nuke oder BMD Fusion in Realbild-Videos eingebracht. Oder gleich im 3D Programm mitgerendert, siehe u.a. Houdini.

____________________________
Aus formalen Gründen neu aufgeteilter Beitrag

 

[KBB]

=============================================
= 1. == Materialien - Erstellung, PBR, Bibliotheken ===
=============================================

Als erstes findest Du im Folgenden eine besondere Art der Bildbearbeitung, die erst in den letzten Jahren Einzug in den 3D Bereich erhielt. Es handelt sich um konstruktive Programme, denn sie sollen aus wenigen Photos die PBR-Materialien, -Assets, -Sets, extrahieren (PBR = Physical Based Rendering). Bei der Recherche haben sich aber auch ein paar geringfügig andere, ähnliche Programme eingeschlichen.
Ein solches PBR-Set, nennen wir es jetzt Asset, besteht aus einem zusammengehörigen Satz von Bitmaps, Pixelgrafiken, die zusammengenommen eine Oberfläche oder eben ein Material bilden: Autolack, Glas, Blätter am Baum oder seine Rinde, Graffiti, die Mauerwand darunter usw. Bis dahin ist aber noch kein Unterschied zu einem "normalen" Material im früheren Sinne zu erkennen.
Das besondere daran signalisiert der Begriff PBR. "Physical Based Rendering" steht für physikalisch akkurate, also hoffentlich sehr realistisch wirkende Oberflächen - wenn ich denn die zugehörigen Texturen in meinem Renderer richtig zusammenbringe. Der wichtigste Punkt bei PBR-Materialien ist gleichzeitig der, auf den ich hier nur kurz eingehe: PBR-Assets sollen den Energiehaushalt des Lichts in der Szene erhalten, oder genauer: physikalisch korrekt schlucken. Es darf dann in der Szene am Ende auf keinen Fall mehr Energie (Licht) sein, als an Energie mit Lichtern, Sonne und was noch so leuchtet hineingepumpt wurde, sondern weniger. Und das bitte entsprechend physikalischer Abnahmen. Es geht dabei also wieder einmal um das Zusammenspiel zwischen Material, Licht und Renderer.

Aber auch alle anderen Eigenschaften eines Materials sollen korrekt rüberkommen: Glanz, Transparenz, Rauhigkeit usw. Deshalb enthält jedes Asset gemäß dem Grundsatz "alles spiegelt" idR. mindestens 4 Texturen: Color, Normal, Specular & Roughness. Man findet statt der letzten beiden auch schon mal Metalness & Glossiness, das ist dann für den Einsatz in Echtzeitumgebungen, also (Game-)Engines. Wer mehr über diese Materialien erfahren will, kann das z.B. kurz und knackig in diesem Video(Englisch). Die Color-Map wird im PBR-Workflow übrigens oft Albedo genannt und enthält dann keine Licht- oder Schatteneinwirkungen mehr, wenn die Software korrekt gearbeitet hat. Sie ist also im besten Fall nicht einfach nur ein Fabrfoto. Aber Licht und Schatten sollten eh nicht auf der Textur zu sehen sein, da dies ja das Rendering übernimmt.

Solche Materialien kann man mit den "normalen" und alten Methoden versuchen einzustellen, was mit Übung auch mehr oder weniger genau gelingt. Per Hand z.B. eine sog. Albedo-Map zu erstellen, ist jedoch ohne spezielle Software für die meisten Menschen extrem schwierig und unverhältnismäßig aufwändig. Die Albedo zeigt die reine Farbinformation, alle weiteren Infos - Schatten, Glanz, Spiegelung etc. - werden dabei herausgerechnet (oder eben gemalt). Da jede Oberfläche Farbe relektiert, also im weitesten Sinne spiegelt, ist diese Arbeit per Hand doch eher sinnfrei. Und da es seit einigen Jahren diesen gut funktionierenden Workflow, Anbieter und Software für diese schönen Materialien gibt, empfehle ich Dir, Dich hiermit auseinander zu setzen.

Im Netz gibt es viele Quellen für bereits fertige PBR-Materialien. Dafür werden die gewünschten Oberflächen z.B. von mehreren Seiten beleuchtet und die dabei entstehenden Bilder von einer Software analysiert (die ersten drei genannten können das). Manche Programme versuchen das allein anhand eines einzigen Photos (z.B. Materialize oder PixPlant). Wieder andere erzeugen alle nötigen Maps durch Parameter, das wäre die Gruppe prozeduraler Software. Davon gibt es ziemlich viele Programme, aber nicht alle können auch PBR-Assets ausgeben. Hier sind wieder nur ein paar vorgestellt für den Einstieg.

Nicht jeder muss gleich mit einem Photoapparat oder seinem Handy losziehen. Für den Einstieg sollte die folgende Liste genügend Material bieten, um sich mit dem Thema auseinander zu setzen. Egal ob Du selbst PBR-Materialien erstellen oder aus einer Bibliothek beziehen willst.
Und: wer schon professionell arbeitet, hat vielleicht die Substance3D Suite in der Pipeline und damit auch den Alchemisten (und den Designer und den Painter), und ist damit schonmal gut aufgestellt.

=====================================
========== PBR-Creating Soft ========
=====================================

Substance 3D Sampler (ehemals „Alchemist“), Adobe, Win / Mac
https://www.substance3d.com/
Kosten: ab 19,03/Monat. Subscription**. Oder ~EUR 146,- Perpetual auf Steam, v2023
Der Alchemist wurde in „3D Sampler“ umbenannt und gab es bisher nur per Subscription** und nur im Bundle mit dem gesamten Substance-Paket. Auch alle übrigen (Painter, Designer, B2M) gibt es nun einzeln und per Steam als Perpetuals*** .
Besonderheiten:
Substance ist im Grunde eine Technik, mit der sowohl Pixelgrafiken als auch prozedurale Inhalte, die in einem der Substance-Programme erstellt oder eingeladen wurden, auf spezielle Weise und teilweise sehr klein gepackt und transportiert werden können. Viele 3D Programme haben heute das Substance Plugin integriert, so dass die Pakete dort auch wieder ausgepackt und in gleicher Qualität genutzt werden können. Parameter können gleichzeitig im Zielprogramm sichtbar gemacht werden, so dass dey Artist vor dem Rendern oder Export das Material justieren kann.

Der (Alchemist) 3D Sampler ermöglicht das Erstellen von PBR-Materialien aus einem Satz von Photos, die er zu einem typischen Substance-PBR-Asset packen kann.


Dabarti Pro, Win
Dabarti wird nicht mehr angeboten, der Hersteller bietet die Funktionen nun als Service an. Siehe Alchemist oder das folgende ShaderMap als Alternative.
https://dabarti.com/capture/
Kosten: ab EUR 99,- für Indie****, Perpetuals; Demo möglich
Besonderheiten:
Funktioniert auf Eingabe-Ebene. Erstellt nach dem Einlesen der Photos automatisiert einige Texturen (Albedo, Normal, Depth). Dabarti ist sehr gut z.B. für Blätter. Kachelbare Texturen musst Du jedoch mit weiterer Software aus diesen Texturen gewinnen.
Mit dem Ansteuern einer Software rein auf Eingabeebene kommt übrigens nicht jede:r gleich gut klar. Bitte vorher testen.


Normal/Displacement-Maps Online, System-unabhängig
Normal Maps Online
Christian Petry
free
Besonderheiten:
Der Autor stellt hier einen kostenlosen Online Generator für Normal- und Displacement-Maps zur Verfügung. Man kann eigene Basismaps hochladen und die Generierung über Kontrast und Schärfe kontrollieren. 2D Fenster und ein 3D Fenster mit auswählbaren Grundobjekten zeigen die Ergebnisse inkl. Displacement an. Tolle Sache
Vom gleichen Autor gibt es auch einen Texture Generator, der über ein paar wenige prozedurale Grundtexturen gesteuert wird.


Smart Pages Online-Converter
Da gibt es mittlerweile einige von.
Über diesen hier ist mir allerdings bisher sonst nichts weiter bekannt.


X-Normal, nur Win
https://xnormal.net/
free
Besonderheiten:
X-Normal ist eine Art eierlegende Wollmilchsau, wenn es um Texturen geht. Es konvertiert zwischen Normal-, Height- (=Displacement), Albedo- und Captivy Maps hin und her, ist aber in erster Linie zum Baking von Height- und Normalmaps entwickelt worden. Hierzu lädt man ein Highpoly Model und das Lowpoly Gegenstück ein und lässt die Feinheiten als Maps auf das Lowpoly Modell berechnen.


ShaderMap, Rendering Systems Inc., nur Win

Kosten: $19,- -49,-, Perpetuals. Nur „Commercial“ für kommerzielle Zwecke!
Besonderheiten:
Kann sowohl mit einzelnen Photos arbeiten als auch einem Set von (8) Stück, die alle gleich groß, aber unterschiedlich ausgeleuchtet sein müssen. Damit ähnelt es einerseits dem kostenlosen Materialize und andererseits Dabarti und dem Alchemist.
Leider kommt ShaderMap bei der Qualität der Displacement Maps in einigen Fällen bei Weitem nicht an die von Dabarti heran. Wenn Du öfter filigrane PBR Materialien selbst erstellen willst, ist der Substance Sampler u.U. die bessere Wahl.


PBRtist, Even-U, nur Mac
https://even-u.com/
Kosten: ~ $50,-
Da für den Mac im 3D Bereich oft recht wenig existiert, wollte ich das unbedingt noch reinholen. Danke an Draupnir.
Mir ist leider nicht klar, ob es hier einen Texture2PBR Workflow wie bei Dabarti oder ShaderMap gibt, oder ob es „nur“ ein Editor für Mapsets ist, die mal PBR werden wollen. Was auch schon gut wäre.
Ich vermute ersteres: Color-Photo einladen, mit dem Editor alle anderen Maps generieren und tunen, exportieren. Wenn Du mit dem Programm arbeitest: eine PN wäre schick


Materialize, Boundingboxsoftware, Win
http://www.boundingboxsoftware.com/materialize/index.php
free
Besonderheiten:
Materialize kommt mit einem einzigen Bild als Input aus und kann daraus ein gesamtes Set generieren, bestehend aus Diffuse (hier = Color Map), Height Map (= Displacement), Normal Map, Metallic Map (= Metalness), Smoothness, Edge und AO Map. In meinen Augen überzieht die Software jeden Spiegelungs/Glanzeffekt stark, egal ob Metalness oder die Beleuchtung. Vielleicht ist das aber mehr der eingebauten Echtzeit-Anzeige zuzuschreiben. Einen Versuch hat das kostenlose Programm auf jeden Fall verdient.


TextureLab, Nicolas J. Brown, Win / Linux
https://njbrown.itch.io/texturelab
free, OpenSource, (LGPLv3 license)
Besonderheiten:
TextureLab wirkt dem Substance Designer ähnlich. Mit TextureLab lassen sich ebenso Node-basiert****** prozedurale Texturen erstellen, Albedo, Normal, Roughness oder Displacement sind dabei und können als Satz exportiert werden.


Substance Designer, Adobe, Win / Mac
https://www.substance3d.com/
Kosten: ab 19,03/Monat im Paket, oder ~ EUR 146,- per Steam als Perpetual, v2023
Im Designer kann man Node-basiert prozedurale PBR-Materialien mit allen nötigen Texturen generieren. Für die Substances ist u.U. ein separates Plugin zur Nutzung nötig. In manchen Programmen ist dies schon fest als Importer implementiert.


Substance Painter, Adobe, Win / Mac
Kosten: ab 19,03/Monat im Paket, oder ~ EUR 146,- per Steam als Perpetual, v2023
Wie der Name sagt, geht es hier vor allem ums (high professional) Painten von 3D Objekten. Die entstandenen Materialien können wieder als "Substance" exportiert werden. Aufgrund der Texture-basierten (PBR-) Materialien sind die Substances nicht unbedingt klein. Steuerbar sind auch diese Dateien im jeweiligen Zielprogramm,je nach Voreinstellung.


Vizoo + xTex
https://www.vizoo3d.com/
Preis: 3.750,- für die Software xTex, perpetual
Besonderheiten:
Auch: Scanner+Software-Gespann, oder Software as a service (man kann seine Oberflächen hinschicken und für einen ~ 2-stelligen Betrag einscannen lassen). Den Clients nach hochqualitative Ergebnisse.
Soft- UND Hardware gehören, nicht zuletzt mit der verbauten Nikon D8x0, vermutlich nicht zur günstigsten Klasse, schaut man auf den reinen Softwarepreis. Eher für Highend-Studios.


Quixel Mixer, Quixel, Win
https://quixel.com/mixer
free
Besonderheiten:
Erstellt nicht direkt PBR Materialien, vielmehr mixt man sich aus verschiedenen, ziemlich vielen beiliegenden Sets neue Materialien, die man exportieren kann. Die Software ist grundsätzlich frei und glänzt mit sehr vielen Mixmethoden, die an Maskierungsorgien in Photoshop erinnern. Hier können auch bis zu gewissem Grad prozedural Texturteile eingestellt und erzeugt werden. Der Mixer kann sowohl kachelbare Textursets erstellen als auch PBR Materialien direkt auf ein Objekt auftragen, das dazu eingeladen werden muss und Masken für die zu bemalenen Teile enthalten sollte. Der Mixer war vor einigen Jahren, evtl. ca. Anfang 2018, schon einmal weiter entwickelt als heute. Bitte darauf achten, wenn Du nach Video-Tutorials suchst und nicht wundern, wenn das im älteren (!) Video heute scheinbar nicht mehr geht.


PixPlant, Faron Studio, Win / Mac
Kosten: $37,- (Indie) bis 99,-, Perpetuals
Besonderheiten:
PixPlant scheint die Lücke um Dabarti und Co zu schließen, um aus einem PBR-Asset eines zu machen, das auch kachelbar ist. Auf jeden Fall kann man damit (auch) Normal, Specular und Displacement Maps bearbeiten und deren Effekt betrachten.
Nicht direkt für die Erstellung, aber anscheinend für die Bearbeitung geeignet. Eines der wenigen Tools für Win und Mac.

___________________________ Erklärbär ___________________________
** Subscription, Abo - Software, die dauerhaft gemietet werden muss. Bekannt geworden durch Adobe, weil sie dem User keine Wahl gelassen haben, ob Miete oder Lizenzkauf (siehe Perpetual). Man zahlt idR. für jeden Monat. Hört die Zahlung auf, kann man bei den meisten Entwicklern auch die Programme nicht mehr nutzen, die häufig über das Netz "nachfragen", ob sie dürfen.
*** Perpetuals meint dauerhafte Lizenzen. Man bezahlt einmalig und darf die Software nutzen, bis der Rechner auseinander fällt.
**** Indie, etwa "Independent filmmaker/game developer Version", wurde m.E. von SideFX (Houdini) in die Welt gesetzt, um 1-Personen-Studios mit Einkommen unter $100.000/Jahr den Zugang zu einer günstigen, aber vollwertigen Version zu gewähren. Der Ausdruck wurde mittlerweile Szenen-weit übernommen, ebenso wie die Einkommensgrenze. Indies können Perpetuals sein oder Subscriptions unterliegen
____________________________
Aus formalen Gründen neu aufgeteilter Beitrag

 

[KBB]

============================================
== 2. ==== Texture-, Material+ 3D Modelle ==
====== Bibliotheken/DBs/Plattformen ========
============================================
Davon gibt es sehr viele. Wie so oft einige mit freien, andere mit kostenpflichtigen Inhalten. Fast überall erhält man auch eine Hand voll freie Assets (Material-Sets) zum Testen, die meistens auch in privaten Projekten genutzt werden dürfen.
Hier eine Auswahl, m.E. mit die wichtigsten Seiten.


Quixel Megascans, Quixel, jetzt Epic
https://quixel.com/megascans/home
Kosten: wenn kommerziell genutzt, dann ab 19,-/Monat für einen bestimmten Satz von Punkten, die man ausgeben kann.
Daneben: größter freier Asset-Satz von 2D und 3D Modellen et al für die Unreal Engine. Mit anderen Worten: hast Du (kostenfreien) Zugang zur Unreal Engine, hast Du auch Zugriff auf die gesamte Quixel-Datenbank für Deine Echtzeitprojekte.
Nur Subscription, monatlich kündbar
Der wohl größte Marktplatz für PBR Materialien und Scans, war zu Beginn stark auf Natur ausgelegt.
Die Bridge, das freie Tool mit dem man die Assets (nicht nur Material, auch sehr viele 3D Scans uvam.) direkt in seine 3D Software einspeisen kann mit korrekt angelegten PBR Materialien, zeigt mittlerweile über 18.000 Assets an.


Textures.com
https://www.textures.com/
keine freien PBR Materialien, aber viele freie Photo-Texturen.
Kosten (für PBR): einmalig oder per Subscription Kauf von sog. Credits, mit denen man die besseren Texturen und PBR-Materialien kaufen kann. Textures.com war ursprünglich und lange vor Quixel eine der größten Photo-Texture-Bibliotheken und hat sich erst im Laufe der Zeit Richtung Scan, Photogrammetrie***** und PBR-Materialien entwickelt.
Normale Photo-Texturen sind frei bis zu einer bestimmten Auflösung, und dann meist nicht kachelbar, oder relativ klein. Mit einem Account kann man bis zu 15 solcher normalen Photo-Texturen pro Tag beziehen.
PBR-Materialien sind nur als Substance-Archive und nur per Credits zu bekommen.


Free PBR
https://freepbr.com/
über 250 freie Materialien.
Wenn man sie als Paket alle auf einmal herunterladen will, muss man einen geringen Obulus bezahlen, einzeln nicht.
Die Qualität sollte man aber vorher testen, auf jeden Fall gut zum üben.


Texture Haven, Rob Tuytel
siehe unten, HDRI Haven bzw. jetzt eben Poly Haven
gegründet von Rob Tuytel in Zusammenarbeit mit Greg Zaal, dem Gründer von HDRIhaven
free
z.Zt. über 200 unterschiedlichste PBR Materialien hoher Qualität, alle frei
FYI: Rob Tytel ist Blender-Artist und baut sehr anschauliche, oft architektonische Mittelalterszenarien.
Des weiteren ist er Trainer für Blender.


Poliigon, Poliigon Pty Ltd
gegründet von Andrew Price, auch als Blender Guru bekannt

gut 60 freie PBR-Materialien
Zugriff auf die gesamte Bibliothek per Subscription, monatlich kündbar
FYI: Andrew Price ist u.a. Trainer für Blender.


Substance Assets (ehemals Source) Adobe
https://substance3d.adobe.com/assets
Für Subscription User der Substance Suite frei.
insg. etwa 7.500 Materialien. Es waren vor kurzem noch ca. 50 freie PBR-Materialien, sind mittlerweile weniger, dafür nun auch Atlasses (spezielle 2D/3D Technik für sich häufig wiederholende, leicht unterschiedliche Objekte, wie z.B. Herbstlaubblätter. Hat mit „Atlanten nix zu tun ) und 3D Scans.
Die Substance Materialien können mit den entsprechenden Substance Werkzeugen (Designer, Painter, 3D-Plugins) oft mannigfach variiert werden.


Polyhaven, ehemals HDRIhaven, Greg Zaal (Polyaven enthält auch Texturehaven und Modelhaven)
und verbindet HDRI, Modelle und Texturen bzw. PBR-Materialen (als hätt ichs geahnt ^^)
https://polyhaven.com/
free
über 500 HDRIs, alle frei, bis zu 16K, manche mehr. Über 250 PBR-Texture-Sets, etwa 140 Modelle, alles permanent wachsend.
Steht hier nur deshalb, weil oben schon unter Texturehaven genannt. HDRIHaven ist m.W. die älteste und größte freie und hochwertige Sammlung hochauflösender sphärischer HDRI, die wir im 3D Biz zur Beleuchtung nutzen können.

___________________________ Erklärbär ___________________________
***** Photogrammetrie bezeichnet die Generierung von 3D Content mittels eines in 360° aufgenommenen Satzes von Photos, die alle ein Objekt oder eine Szene in ihrer jeweiligen Mitte erfassen. Aus der Gesamtheit der Daten, Licht, Schatten, Farben etc. kann eine entsprechende Software dann aus diesen Photos ein 3D Objekt erstellen, mittlerweile inklusive der zugehörigen PBR-Materialien.
****** Nodes (Knoten) kann man nicht erklären, die muss man erleben.
Das deutsche Wiki schweigt dazu, im Englischen findet man "eine Grundeinheit zum Aufbau von Datenstrukturen". Nodes sind kleinste Funktionseinheiten und arbeiten nur im Verbund, indem sie miteinander verdrahtet werden und so einen Input und einen Output bekommen können. Ein schematischer Programmablauf kommt dem Aussehen und Wirken sehr nahe. Hier ein Beispiel (eines Flussdiagrams!) auf Wikipedia. Die einzelnen Felder könnten Knoten mit speziellen Funktionen in einem Node-basierten Programm sein. Ein (Texture-) Node kann z.B. einen graphischen Noise (Rauschen) erzeugen, eine Pixelgrafik einladen oder eine solche Eingangsbitmap vervielfältigen oder verzerren, Transparenzen ändern uvam.

Danke Draupnir für die Unterstützung bei der Software*Recherche.
______________________________________
Aus formalen Gründen aufgeteilter Beitrag

 

[KBB]

============================================
======= 3. = Objektdigitalisierung =========
======== Scan und Photogrammetrie ==========
============================================

Bei der Objektdigitalisierung geht es darum, ein reales Objekt in das 3D-Programm zu bekommen. Dabei werden z.Zt. im wesentlichen 2 Verfahren unterschieden: der Scan und die Photogrammetrie. Beide Verfahren benötigen neben dem Computer mit der 3D-Software noch weitere Hardware. In vielen Fällen, vor allem wenn nicht nach höchster Genauigkeit gefragt wird, reichen heute normale mid- bis highrange Mobiles - Handys oder Tablets - aus.

Denn alle aktuellen Geräte besitzen heute einerseits idR. eine für Photogrammetrie ausreichend hochauflösende Kamera, und die nicht ganz so günstigen Geräte der letzten Jahre enthalten andererseits oft einen von zwei Tiefenssensoren, die mit der passenden Software zum 3D Scannen genutzt werden können. Die Software dazu ist oft günstig oder, wie auch im relativ neuen Fall von Epics "RealityScan" kostenlos (trotz Name ein Photogrammetrie-Tool, keine Scan-App). Einigen ist sicher auch noch die alte 123D App von Autodesk ein Begriff, das von ~2009 bis 2017 frei nutzbar war, ebenfalls eines von vielen für Photogrammetrie. Zur Photogrammetrie kommen wir gleich.

Für den Scan befinden sich seit etwa 2019 in den midrange Android-Mobiles der ToF- (Time of flight) Tiefensensor (Apps z.B. => 3D Live Scanner, Kiri Engine uvam.). Unter iOS Geräten, für iPhone wie iPad, findet man ab ~11 (nicht in jedem!) einen LIDAR Scanner (Apps z.B. => 3D Scanner App, Polycam uvam.). Beide Sensoren-Typen messen den Abstand zur Oberfläche und generieren daraus intern Punkte, die zu einem Mesh verbunden werden. Die Kamera, wenn involviert, liefert dazu die farbige Oberfläche. Dies alles geschieht beim Scan direkt im Mobile, so dass im besten Fall ein fertiges, texturiertes Mesh in die 3D-Software am Rechner übertragen werden kann.

Auf Apps, die nur auf den Mobiles laufen, gehe ich hier nicht weiter ein. Sie werden auf vielen Webseiten besprochen und bewertet und kosten oft wenig bis gar nichts, man kann sie also leicht selbst ausprobieren. Zusammen mit einer AR-App (= Augmented Reality) kann man sich z.B. Objekte "ins Haus holen" und per Handy platzieren. Kann Spaß machen

Ohne solche Tiefensensoren muss man auf die Photogrammetrie zurückgreifen, denn Photos kann man mit jedem Handy machen. Gute Kameras sind natürlich auch erlaubt. Auch hier ist die Spanne weit, aber einige Programme werden wir uns schon etwas genauer anschauen.
Bei der Photogrammetrie geht es darum, dass eine Software, meistens auf dem Rechner, aus sehr vielen, übertragenen Photos (je nach Ergebnis 50-300) erst virtuell die Kamerastandpunkte, Blickrichtungen und Brennweiten berechnet. Aus diesen virtuellen Kameras samt ihren Bildern werden dann durch Vergleiche von Licht, Schatten, Glanzlichter und Farben etc. Höhendaten berechnet, die dann als Punkte definiert, wieder zu Polygonen verbunden und mit den Photofarben als Oberfläche belegt werden. Je klarer die Photos und meist auch, je mehr es sind, desto besser die Ergebnisse. D.h. die Photogrammetrie-Software muss schonmal eine Ecke mehr drauf haben als ein Scanner. Auch hier war und ist teilweise das schon von "KIs" bekannte Lernen, das Training im Hintergrund am Werk, ohne das vieles nicht erkannt würde. Und das geht so weit, dass bestimmte Programme anhand der Informationen gleich Albedo, Specular/Roughness, Normal und Displacement Maps berechnen können, was unglaublich praktisch ist*. Siehe auch Quixel Megascans im Beitrag hier vor, das sind Ergebnisse solcher Digitalisierungen samt Maps.
Oder sogar so weit, dass in manchen Fällen sogar ein einzelnes, frontales Photo ausreicht, um z.B. ein Menschlein in 3D am Rechner daraus generieren zu können. Wer dieser, zu Anfang etwas reißerisch wirkenden Präsentation folgt, wird feststellen, dass hier ein einzelnes Photo völlig genügt, um letztlich sogar die ja unsichtbare Rückseite zu generieren. Dafür wird u.a. ein Zwischenschritt genutzt, in dem die (eigentlich vorgegebene) Haltung der Person per Überlagerung mit einem typischen Joints-Skelett analysiert wird. Ich habe mir nicht jedes weitere Detail dazu angeschaut, und es wird in dem verlinkten Video auch nicht weiter erläutert. Aber Du kannst es ausprobieren und wirst feststellen, dass es funktioniert Wie gesagt, die Rückseite ist dann generiert und muss nicht mit der eigentlichen Person übereinstimmen, wird es aber in vielen Fällen tun.
Im Vergleich dazu muss eine "normale" Scanner-Hard- und Software lediglich genau messen können. Das tun einige übrigens auch schon in Farbe und mit unterschiedlichster Hardware, vom Zimmer großen Gerät bis runter zum mobilen, taschenlampenförmigen Handscanner.

Im Falle höherer Genauigkeit (z.B. das Einlesen von Bruchstücken in der Archäologie, die am Rechner zu einem Objekt zusammengesetzt werden sollen) sind jedoch idR. teurere Geräte mit sensibleren Sensoren oder höher auflösenden Optiken notwendig. Und neben den o.g., weiter verbreiteten Methoden gibt es noch einige andere, die ebenfalls eher in der Wissenschaft angewandt werden. Da ist z.B. die (auch schon ältere, aber auch sehr genaue) Weißlichtscanner-Methode. Bei dieser wird ein s/w-Streifenmuster mittels Beamer auf das Objekt geworfen. Eine Kamera, die in festem Winkel zum Beamer steht, kann nun aufgrund der Höhenunterschiede des Streifenmusters an diesen Stellen sehr genaue Formen errechnen. Allerdings braucht die Abtastung etwas länger, je nach dem, wie oft die Streifen bewegt werden sollen. Denn das macht letztlich die Auflösung des Objektes aus, zwischen den Streifen kann ja nichts gemessen werden.
Eine letzte Methode ist der tomographische Scan, bei dem das Objekt per Röntgen in dünne Scheiben "zerlegt" wird. Während der Weißlichtscan sehr genaue Darstellungen der Außenhaut ermöglicht, ist der Tomographie-Scan vor allem für das Innere eines Objektes, oder auch eines Menschen wichtig.
Für letzteres wird er ja auch schon viele Jahre genutzt.

Einige Nachteile beider Methoden, Scan wie Photogrammetrie, sind vielleicht schon offensichtlich geworden: transparente, spiegelnde und sehr filigrane, z.B. spinnwebartige Strukturen (Haare, Blumenstrauß uvam.) machen den Systemen zu schaffen. Je feiner die Struktur, desto genauer muss ein Scanner diese von vorne herein abtasten. Die Abtastung ist aber oft festgelegt. Und in der Photogrammetrie entstehen bisweilen bizarre Formen, wenn die Software nicht "erkennen" kann, wie tief das Objekt nun ist.
Man kann also in vielen Fällen auch davon ausgehen, dass das Objekt nachbearbeitet werden muss. Außerdem ist es bei den meist sehr hochauflösenden Meshes oft sinnvoll, die Strukturen mit der passenden Software zu "backen", wenn die Photogrammetrie-Software das nicht schon tut. Das Mesh wird dabei weniger dicht und glatter, weniger strukturiert. Dafür wird aus dem Unterschied eine Höhenmap (Displacementmap) generiert, die ein 3D-Programm befähigt, die Strukturen on-the-fly beim Rendern wieder herzustellen.
Das kann aber z.Zt. von den meisten 3D-Druckern noch nicht ausgewertet werden, die ja ebenfalls oft Ziel einer Objekt-Digitalisierung ist. Bei der Weiterverarbeitung kommt es also nicht zuletzt auf die Nutzung an.

____________________________________
*Die Erstellung der diversen Maps ist übrigens genau das, was verschiedene Programme wie die im 2. Beitrag dieses Threads genannten, PBR-Materialien erzeugenden zumindest teilweise tun. Dabarti tat es, der Substance 3D Sampler soll sehr gut darin sein und Materialize und einige andere sind ebenfalls drauf spezialisiert. Nur dass hier eben keine Objekte das Ziel sind, sondern besagte PBR Materialien. Leider ist m.W. so gut wie keines dabei, das Albedo Maps erzeugt oder Heightmaps so gut wie dabarti, aber die Ergebnisse sind oft schon sehr brauchbar. Ich habe aber auch bisher nicht jedes davon auf Herz und Nieren prüfen können.