Smartphone Screen Replacement

[nonnnnnnnnnN]

Hallo Zusammen

ich arbeite gerade daran, ne App zu visualisieren. Ich habe Realfootage Aufnahmen, wo auf nem Display mit grünen Hintergrund Gesten mit dem Finger gemacht werden. Das simuliert also quasi die Bedienung der App.

Das Smartphone liegt in der Hand, es gibt also leichte Bewegungen in der Aufnahme.
Meine Frage ist nun: Wie kann ich den Grünen Screen am besten Tracken um da dann die eigentliche App einzufügen?



Habe es mit dem Perspective Corner Pin Tracking in After Effects versucht, aber das Resultat ist äusserst bescheiden, da der Tracker mit dem Schwarz-Grünen Kanten keine perfekten Punkte zur Orientierung hat.

Hier noch ein paar Infos:
- Ich muss ein 1080x1920px grosses Bild perspektivisch korrekt in den Greenscreen auf dem Smartphone bekommen
- Es liegen keine Kameratracking Daten vor

Sollte ich auf dem Smartphone vielleicht Trackingpoints kleben? So kleine Gelbe Punkte auf dem schwarzen Rand

Naja, vielleicht hat ja jemand einen Tipp für mich. Arbeite nicht sehr viel in After Effects. Am Ende gehts bestimmt viel einfacher und ich weiss es nur nicht.


Grüsse
Marco

 

[leveler]

hmm, mit After Effects kenne ich mich so gut wie gar nicht aus, hab aber schon ein paar Apps erstellt (--> Android). Wenn`s nur ums Layout geht, ist wahrscheinlich eine App schneller erstellt, als sie zu simulieren.Aber vielleicht auch nicht, kommt auf die App an...

 

[Gelöschtes Mitglied 568623]

Hallo Marco
Hast du den Track schon mal mit Mocha erstellt?
Mocha arbeitet mit Mustererkennung und nicht pixelbasiert wie After Effects. Daher sind die Tracks in Mocha meist besser.

 

[yakuzowner]

Hallo Marco,

am einfachsten waere es gewesen wenn du den screen nicht gruen gemacht haettest sondern dunkel ausgeschaltet gelassen, denn dann haettest du die original reflektionen gehabt die du dann ueber den app-insert haettest legen koennen. Das gruen oder blau wird bei Monitorinserts meist nur dann verwendet wenn komplexere bewegungen davor stattfinden zB wenn personen davor herumlaufen (frauen mit offenem haar etc). In deinem Fall haetten vier marker am screen rand (aber immernoch innerhalb des schwarzen ausgeschalteten displays) gereicht.

Wie Tom22 allerdings schon sagt haettest du, wenn du es mit Mocha trackst, nichteinmal das machen muessen. Denn Mocha kommt durch sein Texturbasiertes Tracking wunderbar damit klar auch die ganz normalen smartphonekanten zu tracken, selbst wenn mal ein eckpunkt verdeckt sein sollte rechnet es weiter weil es den einen punkt nicht zwingend benoetigt solange mind. ca 60% der zu trackenden flaeche sichtbar ist innerhalb der punkte.

Wenn du kein mocha zu verfuegung hast sollte aber auch jedes etwas bessere Videobearbeitungsprogramm den job schaffen mit normalem eckpunkt tracking. Ich habe damals selbst mit AfterEffects angefangen und genau solche dinge auch gemacht - ist immer bisl friemelarbeit aber funktioniert schon. Empfehlen kann ich na klar nur The Foundry Nuke - allerdings sehe ich ein dass man sich da nicht mal eben so einarbeiten kann.

Es gibt aber in irgendeiner CS suite von Adobe eine direktanbindung an AfterEffects zu Mocha. Das sollte wunderbar funktionieren.

Sobald du den track und die perspektive hinbekommen hast musst du nur gucken dass du den Daumen vernuenftig ausgeschnitten (manuele Rotomaske) oder gekeyed bekommst (zum keyen solltest du deine plate denoisen damit der key nicht griselt) und auch dann sicherstellen dass saemtliche Gruenfarben sowie dunkle oder helle kanten die unangenehm auffallen neutralisiert sind damit sich die App auch intergriert. Als Sahnetupfer solltest du dann noch eine reflektion finden zB einen simplen himmel den du mit ca 10% deckkraft druebrlegst um es glaubhaft zu machen.

besten gruss aus Canada Vancouver!

 

[dte01]

Hallo,
schau mal auf meine Seite unter: www.id4you.de/tutorials/AE_4-Punkt-Tracking-mit-Mocha.pdf.

 

[nonnnnnnnnnN]

Hallo

erstmal danke für die Antworten. Ich habe nach wie vor die Möglichkeit, den Screen auszumachen. Das oben war nur eine Testaufnahme.

Ich habe bereits etwas mit Mocha rumexperimentiert, hätte sogar noch Boujou zur Verfügung fürs Tracking. Aber ich denke da würde ich mit Kanonen auf Spatzen schiessen.

Ich werde mal das mit den 4 Markern am Display Rand versuchen und dann mit Mocha tracken. So wie ihr das beschreibt hat das ja nur Vorteile gerade auch im Bezug auf die Reflections.

Wegen dem Finger wäre halt die grüne Farbe ideal, da kann ich den einfach mit Key Light rauskeyen und als neue Ebene drüberlegen.

Bzgl. dem Aufwand: Es ist evtl. leichter eine Android App zu erstellen, aber mit all den Animationen die da gezeigt werden sollen, könnte das dann wieder anders aussehen. Habe da aber sowieso keine Ahnung, deshalb ist die Preview als Video die beste Lösung

Werde demnächst berichten, wie der Track gelaufen ist.

Grüsse
Marco

 

[yakuzowner]

Stelle bitte sicher dass die marker innerhalb des screen sind, sodass sie durch den spaeteren Insert dann ueberdeckt werden, ansonsten musst du die naemlich auch noch rauspainten und das waere laestig. kleine punkte reichen schon, ein viertel sogross wie konfetti. Aber wenn du dich in Mocha einarbeitest brauchst du wie gesagt nichtmal diese punkte denn die display kante und ecken bieten an sich schon hervorragende tracking punkte. Viel Erfolg!

 

[nonnnnnnnnnN]

Hallo yakuzowner und alle Anderen

vielen Dank für die guten Ratschläge. Also das mit Mocha hat mittlerweile relativ gut funktioniert in den neusten Testversuchen. Mit dem normalen Tracking sowie den Adjust-Tracks kriegt man gute Ergebnisse. Ich habe auch deinen Rat berücksichtigt mit den kleinen Markern innerhalb vom Display. Die Qualität der Aufnahme ist halt nicht optimal, aber zum testen hats gereicht.




Mir ist leider aufgefallen, dass die weissen Marker auf dem Display teilweise stark verschwimmen bei Kamerabewegungen. Ich schiebe das mal auf die schlechten Lichtverhältnisse der Testaufnahme. Gibt es da Lösungen, um sowas irgendwie zu verhindern oder um das beim Tracken zu berücksichtigen?




Was mich dann noch interessieren würde ist folgendes: Wie bekomme ich nun die Reflections am besten in den Screen? Habs zum Testen mal mit nem Duplizieren des Videos gemacht und den Modus geändert. Es wird alles dunkler usw aber ich sehe ein paar ganz feine Reflections und auch nen Schatten der mal über das Display huscht.
Bin mir aber sicher das man das besser lösen kann und würde mich über nen Feedback freuen.


Grüsse
Marco

 

[yakuzowner]

Hey Marco,
Schön zu horen dass du mit mocha gute ergebnisse bekommst.

die verschwommen frames sind ganz normal wenn man die kamera bewegt oder das display - ein ganz normales Phänomen dass man motionblur bzw bewegungsunscharfe bekommt. Je nachdem wie stark und in wievielen frames es auftritt ist es für die meisten tracker handlebar oder nicht - kann man schwer sagen. Was zum tracken aber immer dazu gehört ist die einzelnen tracks in deinem fall sind es ja nur 4 punkte zu überprüfen ob sie in jedem frame noch sitzen. Falls mal ein tracker abweicht kannst du ihn manuell dahin schieben wo er sein soll zb in der mitte des verschwommenen Punktes - ich weiß gerade leider nicht ob mocha beim manuellen anpassen an dem frame dann automatisch nen keyframe setzt und die anpassung speichert oder ob da n button ist irgendwo - musst du mal probieren. Wenn du die motionblur frames aber manuell richtig hingeschoben hast sollte mocha auch wieder gut weiter tracken weil es ja eigentlich gar nicht wirklich den punkt trackt sobdern die Fläche die sich zwischen den punkten ergibt deswegen ist es auvh soviel besser als jeder pointtracker. Du kannst auch links im Menü dummy objekte aktiveren zb checkerboard oder das mocha logo um zu sehen wie sich am ende dann dein insert verhält und ob es richtig sitzt - ich nehme immer n checkerboard. Während du dieses dummy objekt aktiviert hast ist es auch einfacher die eckpunkte manuell anzupassen weil du direkt siehst wie sich dein insert verhält und es ist leichter zu sehen ob es richtig sitzt dann.

was die reflektion angeht - reflektionen sind grundsätzlich immer additiv d.h du benutzt entweder den screen modus oder plus bzw addieren. Musst nur gucken dass du die trackpunkte nicht wieder mit drauf tust durch die reflektion was mir gerad noch einfallt ist dass du in mocha die eckpunkte nicht direkt auf deine weissen trackingpunkte setzten solltest sondern knapp ausserhalb weil wie gesagt trackt mocka nicht direkt den punkt sondern die fäche trackt die innerhalb deiner eckpunkte liegt und deswegen sollten deine weissen marker quasi die äussersten punkte dieser flache ergeben weshalb deine mocha eckpunkte etwas weiter ausserhalb liegen sollten.

 

[nonnnnnnnnnN]

Guten Tag

danke für die Infos Ich werde die weissen Punkte sowieso irgendwie weiter in den Screen hinein setzen müssen, da durch den Motion Blur die Punkte teilweise über den Rand hinausgehen und ich somit bei einigen Frames weisse Ränder habe um den Insert herum -.-

In Mocha kann ich über AdjustTrack jederzeit Korrekturen vornehmen und es erstellt mir dann auch gleich Keyframes.