Augment Reality kennt jeder, ob es nun Spiele wie Pok\u00e9mon GO, Designapps wie Ikeas Raumgestalter oder Google Maps mit Fu\u00dfg\u00e4nger Funktion sind; Bisher waren die AR-Funktionen meist noch ein Gimmick, um Kunden anzuziehen, oft spielt man damit ein wenig herum, genie\u00dft wenige kurzweilige Minuten mit den Applikationen, bis man diese letztendlich deinstalliert oder die AR Funktionen g\u00e4nzlich ignoriert.<\/p>\n\n\n\n
Gr\u00fcnde daf\u00fcr gibt es viele, zum einem funktioniert die AR-Integration nur mit deutlichen Einschr\u00e4nkungen, welche einen zwingen eine Oberfl\u00e4che zu finden welche vom Ger\u00e4t m\u00f6glichst genau erkannt werden kann oder sogar einen QR Code ben\u00f6tigen, zum anderen sind die Funktionen sehr ungewohnt und nicht alltagstauglich. Eigentlich stellt man sich bei dem Begriff \u201cAugment Reality\u201c gro\u00dfes vor, Interaktionen zwischen der Welt und genutzten Ger\u00e4ten, erweiterte Realit\u00e4ten, welche \u00dcbergangslos zwischen Bildschirm und Objekt aufrechterhalten werden. Doch die Wirklichkeit sieht anders aus, meistens reicht eine leichte \u00c4nderung des Winkels oder Lichts und die Illusion bricht zusammen. Interaktionen ohne Objekte oder Ger\u00e4te, welche spezifisch daf\u00fcr gestaltet worden sind stellen sich immer noch als Problem heraus. Doch woran liegt das? Ist AR f\u00fcr immer verdammt nur ein Gimmick zu sein oder gibt es M\u00f6glichkeiten in Zukunft mehr aus dieser faszinierenden Technologie herauszuholen?<\/p>\n\n\n\n
Diese Fragen haben wir uns vor dem Projekt gestellt, nachdem wir uns mit verschiedenen AR-Integrationen besch\u00e4ftigt hatten. Unser Ziel war es herauszufinden, was mit AR m\u00f6glich ist und welche Zukunftsweisenden Technologien es mit sich f\u00fchrt oder zu welchen es f\u00fchren kann. In Zukunft wird es bessere AR Integrationen geben, wie beispielweise Brillen, welche fr\u00fcher oder sp\u00e4ter alltagstauglich werden. Um diese nutzen zu k\u00f6nnen muss noch viel an AR gearbeitet werden. Um herauszufinden, was m\u00f6glich ist wollten wir dieses Projekt machen.<\/p>\n\n\n\n
Da wir nicht weit verbreitete Technologien nutzen wollten, sondern an die aktuellen Grenzen von AR gelangen wollten, fiel die klassische 2D-Bilderkennung heraus. Generell mussten wir f\u00fcr unser Projekt einen Ansatz finden, welcher es erm\u00f6glicht den Gebrauch und die Funktionalit\u00e4t von AR zu pr\u00fcfen. Daher beschlossen wir auf der Basis von 3D Objekterkennung, eine Bauanleitung f\u00fcr Steckbausteinsysteme, mit Darstellung des n\u00e4chsten anzubringendem Elementes, zu entwickeln.<\/p>\n\n\n\n
Hintergrundinformationen AR<\/strong><\/p>\n\n\n\n Die Urspr\u00fcnge von Augmented Reality gehen zur\u00fcck bis in die 60er, in welchen die ersten Konzepte zu Head-Mounted Displays entstanden sind. Die ersten industriellen Entwicklungen gab es folgend in den 90ern, dabei wurde das Anzeigen von manuellen Herstellungsprozessen bei Boeing behandelt; hierbei kam es ebenfalls zur Namensgebung der \u201eAugmented Reality\u201c. In den fr\u00fchen 2000er Jahren wurde AR immer weiter erschlossen und f\u00fcr Enthusiasten nutzbar gemacht, beispielweise gab es bereits im Jahr 2000 AR Quake, welches als erstes AR Computerspiel gilt und die darauffolgenden Jahre boten verschiedene kleinere AR Implementationen, wie AR Tennis und das Nutzen von AR in Werbekampagnen. Auch aus dem Gebiet der VR-Technologie gibt es inzwischen Ger\u00e4te wie die Oculus Quest, welche beginnen den Bereich der AR-Technologie mit zu nutzen. An spezifischer Hardware f\u00fcr AR wie zum Beispiel der HoloLens oder den diskutierten Apple Glasses wird mittlerweile von verschiedenen Unternehmen gearbeitet, daher ist es nur noch eine Frage der Zeit bis AR effektiv zu unserem Alltag dazugeh\u00f6ren wird und nicht nur eine Spielerei darstellt oder Enthusiasten vorenthalten wird. Mit modernen Smartphones wurden mehr M\u00f6glichkeiten erschlossen AR zu implementieren, welches von verschiedenen Apps erfolgreich umgesetzt wurde. Durch verschiedene Trends wie zum Beispiel Pok\u00e9mon GO fiel AR dazu immer mehr in den Fokus der Gesellschaft; laut Bitkom hat 2019 jeder f\u00fcnfte bereits AR Anwendungen ausprobiert. Dabei werden Firmen wie Apple eine gro\u00dfe Rolle spielen, schon heute kann man in ihren Smartphones Innovationen sehen, welche eine solche Zukunft ank\u00fcndigen, von mehreren Kameras bis zum Nutzen von LiDAR Scannern. Durch die bessere Bilddaten und das 3D Abtasten des Raumes wird mittlerweile eine immer bessere und genauere Einbindung verschiedener AR Features erm\u00f6glicht. Inzwischen ist es m\u00f6glich, in Echtzeit, mithilfe einer App virtuelle Objekte vor oder hinter realen Objekten darzustellen, ohne Erkennungsprobleme zu haben. Daran kann man leicht sehen, dass genutzte Hardware immer besser den Anspr\u00fcchen von AR angepasst wird. Die Entwicklung an AR ist ebenfalls leichter geworden, mit Frameworks wie ARKit oder ARCore, womit jeder eigene Apps entwickeln kann. Jedoch gibt es ebenfalls Probleme, welche mit dem Nutzen von AR eingehen, dabei kann es sich nicht nur um Soft und Hardwareprobleme handeln, auch das Behandeln von Daten und Privatsph\u00e4re ist ein Gebiet, welches betrachtet werden muss, um den Erfolg dieser Technologie zu garantieren.<\/p>\n\n\n\n Es gibt verschiedenste Einsatzgebiete von AR, von Spielen bis zur Vermessung ist alles zu finden. Es gibt Apps, welche Sternbilder, Objekte und sogar Satelliten am Himmel anzeigen k\u00f6nnen, genauso wie Ma\u00dfb\u00e4nder, welche \u00fcber die Kamera Objekte vermessen und spezifische Daten herausgeben. Ebenso kommt AR in der Medizin zum Einsatz, beispielweise durch das Anzeigen von Blutgef\u00e4\u00dfen oder CT Scans. Professioneller Einsatz ist genauso im Ingenieurswesen wie auch in der Luftfahrt m\u00f6glich, durch das Einblenden von Stromkreisen in W\u00e4nden aber auch Rundumblick im Cockpit und HUD f\u00fcr Piloten. F\u00fcr den Freizeiteinsatz gibt es mittlerweile immer mehr Spielereien, so ist Pok\u00e9mon GO eine sehr bekannte AR Anwendung, ein sehr kreativer Einsatz w\u00e4re Mario Kart Live Home Circuit, welches kleinen Rennautos mit Kameras nutzt, welche einen Raum in eine Rennstrecke verwandeln. Die Rennstrecke als auch Hindernisse werden dabei digital generiert.<\/p>\n\n\n\n Die Implementierung von AR kann \u00fcber verschiedene Wege Erfolgen. Man kann zum Beispiel spezielle Marker oder flache Oberfl\u00e4che nutzen, worauf eine Darstellung erfolgt. Mittlerweile kann man aber auch komplexere Erkennung von Objekten f\u00fcr gew\u00fcnschte Funktionen nutzen, jedoch sind diese Ans\u00e4tze deutlich aufwendiger. Daf\u00fcr gibt es verschiedene M\u00f6glichkeiten. Zwei davon w\u00e4ren zum einem die Verwendung von Deep Neural Networks, welche mithilfe von Bilderkennung die Objekte erkennen, wie zum Beispiel Vuforia, ein AR SDK. Eine andere M\u00f6glichkeit w\u00e4re Apples ARKit, einem Framework, welches das Erstellen von AR Apps f\u00fcr Apple Ger\u00e4te erm\u00f6glicht. Dieses produziert intern eine Repr\u00e4sentation des 3D Objektes, welches versucht wird in der Welt wiederzuerkennen.<\/p>\n\n\n\n Das Nutzen von Augmented Reality setzt bestimmte Bedingungen voraus, so ist es kaum m\u00f6glich in sehr dunklen Umgebungen zu arbeiten, da unter diesen Umst\u00e4nden keine Objekte erkannt werden k\u00f6nnen. Jedoch gibt es Hardware, welche spezifisch f\u00fcr AR genutzt werden kann, um auch unter schlechten Bedingungen verwendbar zu sein und generell bessere Leistung zu erm\u00f6glichen. So baut Apple seit der aktuellen 12. Hardwaregeneration einen LiDAR Scanner in iPhones und iPads der Spitzenklasse ein. LiDAR steht f\u00fcr Light Detection and Ranging; mithilfe von Lasern kann damit r\u00e4umliche Tiefe ermittelt werden, indem der Abstand von Objekten in bis zu f\u00fcnf Metern gemessen wird. Dadurch kann man deutlich pr\u00e4zisere Ergebnisse bei Vermessung und Tiefenerkennung erhalten. Die Leistung von AR kann ebenfalls durch das Nutzen der multiplen Kameras verbessert werden, wodurch beispielweise die Zeit der Raumabtastung reduziert werden kann. Diese Features bieten schnellere und genauere Ergebnisse bei der Raumerkennung, komplexerer R\u00e4ume, was bisher die gr\u00f6\u00dfte Barriere beim Nutzen von AR Features darstellte. Dadurch wird nun pr\u00e4zise 3D Repr\u00e4sentationen nicht nur einer professionellen Umgebung vorenthalten, welche spezifisch daf\u00fcr entwickelte Developer Hardware nutzt.<\/p>\n\n\n\n Struktur<\/strong><\/p>\n\n\n\n Grundlegend wollten wir erfahren, an welche Grenzen der normale Verbraucher beim Nutzen von AR st\u00f6\u00dft; dabei wollten wir uns mehr mit verf\u00fcgbaren Technologien befassen und wie man diese effektiv einsetzen kann. Zudem wollten wir herausfinden, ob es zum aktuellen Zeitpunkt sinnvoll w\u00e4re AR zu verwenden, anstatt einen herk\u00f6mmlichen Ansatz zu w\u00e4hlen. Da wir bisher nur Erfahrung in 2D Bilderkennungs-AR hatten, mussten wir zuerst erforschen, mit welcher Technik man zu tun hat und welche Voraussetzungen es f\u00fcr die Entwicklung an AR gibt.<\/p>\n\n\n\n Daraufhin setzten wir uns als Ziel 3D Objekterkennung zu verwenden, um ein Steckbausteinmodell zu erkennen und mithilfe der App fehlende Teile anzeigen zu lassen. Der Gedanke dahinter war, dass man dadurch 3D Objekterkennung testen kann, sowie verschiedene Einschr\u00e4nkungen, wie zum Beispiel fehlende Teile oder dem Verdecken von Teilen des Objektes testen kann. Zudem kann man dadurch die Einschr\u00e4nkungen auf Gr\u00f6\u00dfe und Detailreichtum analysieren, um einen geeigneten Scan zu erzeugen.<\/p>\n\n\n\n F\u00fcr das Projekt wurde Unity und ARKit genutzt, f\u00fcr das Gestalten von Objekten wurde Blender gebraucht, f\u00fcr den Buildprozess wurde zuletzt XCode verwendet.<\/p>\n\n\n\n Unity wurde gew\u00e4hlt da dies die einfachste M\u00f6glichkeit bot, um virtuelle 3D-Objekte darzustellen und per Skript zu modifizieren. Zudem gibt es native Unterst\u00fctzung von ARCore und ARKit als auch 3rd-Party-Support von Vuforia.<\/p>\n\n\n\n Um XCode zu verwenden war ein Macbook notwendig, die AR Funktionalit\u00e4t wurde auf einem iPhone 11 Pro getestet. Ein iPhone 12 wurde angedacht, jedoch war es w\u00e4hrend des Projekts nicht m\u00f6glich dieses zu erhalten.<\/p>\n\n\n\n Am Anfang des Projektes war es geplant eine App auf Android zu entwickeln. Dazu war es angedacht ARCore von Google zu verwenden. Jedoch ist selbst in der aktuellen Variante von ARCore keine Funktionalit\u00e4t zum Object Tracking gegeben. Die einzigen gegebenen M\u00f6glichkeiten sind die Plane Detection zum Erkennen von flachen Fl\u00e4chen, welche auch verwendet werden, um den Raum zu erkennen, als auch die Bilderkennung. Wir versuchten die Bilderkennung auszunutzen, indem wir ein Foto des Objektes aufnahmen und anhand dessen versuchten das Objekt aus demselben Winkel wieder zu erkennen. Dies schlug jedoch fehl, da die Bilderkennung zuerst darauf wartet, dass eine flache Fl\u00e4che von der Plane Detection erkannt wird, um dann auf dieser nach dem Bild zu suchen.<\/p>\n\n\n\n Vuforia wurde von Vorhinein ausgeschlossen, da es einerseits keine frei verf\u00fcgbare Technologie nutzt, sondern hinter einer Paywall ist, andererseits ist der Ansatz der Erkennung aus 2D Bildmaterial mit Deep Neural Networks nicht zukunftsf\u00e4hig, da die Erkennung einfach nur mit roher CPU-Leistung erfolgt. Da die Steigerung der CPU-F\u00e4higkeiten in absehbarer Zukunft vorerst abflachen wird besitzt dieser Ansatz keine langfristige Zukunftstauglichkeit.<\/p>\n\n\n\n Deswegen beschlossen wir Apples ARKit zusammen mit einem geeigneten mobilen Apple Ger\u00e4t zu verwenden, da dieses native Unterst\u00fctzung von 3D-Objekt Tracking seit ARKit 3 besitzt. Nachteile daran waren, dass man zum Aufsetzen der App einen Mac ben\u00f6tigt, welcher ausgeliehen werden musste. Wir wollten ein iPhone 12 oder \u00e4quivalentes iPad nutzen, um den LiDAR Scanner zus\u00e4tzlich nutzen zu k\u00f6nnen, als dies nicht m\u00f6glich war versuchten wir an anderen iPhones zu gelangen. Die uns zur Verf\u00fcgung stehenden Ger\u00e4te waren schlussendlich ein iPhone SE und iPhone 11 Pro. Sofern ein iPhone 12 pro gegeben w\u00e4re, h\u00e4tten wir dieses ebenfalls versucht in unsere Tests einzubinden.<\/p>\n\n\n\n Als wir die Hard und Software festgelegt hatten, ging es daran Scans von Objekten herzustellen, um die 3D Objekterkennung zu testen. Dazu nutzten wir eine von Apple gegebene App zum Scannen von 3D Objekten. Nachdem wir grundlegende Bedingungen f\u00fcr einen erfolgreichen Scan feststellen konnten, versuchten wir diese Informationen dann zu verwenden, um einen Scan, von einem Modell, f\u00fcr unsere Bauanleitung, zu erstellen. Um an diesem Scan die Phantomsteckbausteine darstellen zu k\u00f6nnen, modellierten wir einen Teil des Modells in Blender nach und platzierten dieses digital an dem Scan. Schlussendlich testeten wir, wie genau die Position des Scans erfasst wird, um die Virtuellen Bauteile darzustellen. Anhand dessen versuchten wir die Ergebnisse auszuwerten und gegebenenfalls die Positionen anzupassen. Zuletzt teilten wir die Bauanleitung in die einzelnen Schritte auf, um das Modell mithilfe der App aufbauen zu k\u00f6nnen.<\/p>\n\n\n\n Nachdem die App fertig entwickelt war, testeten wir noch weiter die Performance der Erkennung unter verschiedenen Bedingungen und versuchten den initialen Scan noch weiter zu verbessern.<\/p>\n\n\n\n Implementation und Basic Setup<\/strong> <\/p>\n\n\n\n Aufsetzen des 3D Scanners<\/strong><\/p>\n\n\n\n Um 3D-Objekterkennung testen zu k\u00f6nnen ist es m\u00f6glich verschiedene Applikationen zu nutzen. Eine der besten Umsetzungen davon findet man bei der Apple Developer Dokumentation:<\/p>\n\n\n\n https:\/\/developer.apple.com\/documentation\/arkit\/content_anchors\/scanning_and_detecting_3d_objects<\/a><\/p>\n\n\n\n Hier kann man einen 3D Objektscanner testen. Zum Verwenden muss man das Beispielprojekt herunterladen und mithilfe von XCode builden. Dazu ben\u00f6tigt man ein geeignetes Ger\u00e4t, welches mindestens einen A9 Prozessor oder h\u00f6her besitzt, wie in unserem Beispiel ein iPhone 11 Pro. Wenn man das Projekt aufsetzt besteht die M\u00f6glichkeit, dass ein Fehler zum Code-Signing geworfen wird; um diesen zu beheben muss man \u00fcber das Projektverzeichnis auf \u201eSigning and Capabilities\u201c, dort kann man dann ein Team zuweisen.<\/p>\n\n\n\n Die Scanner App funktioniert wie folgt:<\/p>\n\n\n\n In dem ersten Schritt setzt man eine Box um das zu scannende Objekt und sofern alle Ma\u00dfe stimmen kann man den Scan starten und beobachten, wie an allen Seiten Punkte definiert werden, welche zu Objekterkennung dienen. Nach dem Scan kann man entweder einen neuen Scan starten und diesen mit vorherigem Kombinieren oder fortfahren. Beim Kombinieren ist zu beachten, dass unter Umst\u00e4nden das Resultat nicht mehr genau genug ist und beim Nutzen des Scans dadurch Zittern und Anzeigeprobleme entstehen. Zuletzt kann man den Ursprung des Objektes anpassen und es als ARReferenceObject exportieren. Ein ARReferenceObject wird definiert als die digitale Repr\u00e4sentation eines realen 3D Objektes, welches von ARKit verlangt wird, um es in der Umgebung zu erkennen. Dieses besteht aus den einzelnen Featurepoints und dem dazugeh\u00f6rigen Ursprung.<\/p>\n\n\n\n Umsetzung und Aufsetzen unserer App<\/strong><\/p>\n\n\n\n Im ersten Schritt muss im Package Manager die f\u00fcr AR n\u00f6tigen Pakete installiert werden.<\/p>\n\n\n\n Um diese anzuzeigen muss man links oben \u201ePackages: All\u201c ausw\u00e4hlen, und um eine ausreichend aktuelle Version zu erhalten rechts oben die Preview Packages ausw\u00e4hlen.<\/p>\n\n\n\n Man ben\u00f6tigt ARFoundation 4.+, ARSubsytems 4.+, und ARKit XR Plugin 4.+.<\/p>\n\n\n\n Unter den Build Settings (File -> Build) muss die Plattform auf iOS gewechselt werden.<\/p>\n\n\n\n Bei den Player Settings muss unter dem Punkt \u201eXR-Plugin\u201c ARKit aktiviert werden.<\/p>\n\n\n\n Zudem muss ARKit als \u201erequired\u201c angegeben und FaceTracking deaktiviert werden.<\/p>\n\n\n\n Bei dem Unterpunkt \u201ePlayer\u201c muss ein Bundle Identifier angegeben werden und in der Camera Usage Description etwas angegeben werden, damit Zugriff auf die Kamera m\u00f6glich ist.<\/p>\n\n\n\n Zun\u00e4chst erstellt man unter XR eine Reference Object Library.<\/p>\n\n\n\n Zudem f\u00fcgt man den erstellten Scan dem Projekt hinzu. Wenn alles richtig aufgesetzt wurde, gibt es zu diesem ein Vorschaubild.<\/p>\n\n\n\n In der Reference Object Libary f\u00fcgt man ein neues Objekt hinzu, gibt diesem einen Namen und referenziert den Scan. Dieser Scan steht nun zur Verf\u00fcgung.<\/p>\n\n\n\n Als n\u00e4chste w\u00e4hlt man die Kamera in der Szene aus und verwandelt diese zu einem XR Rig.<\/p>\n\n\n\n Diesem XRRig f\u00fcgt man ein AR Session Origin und ein AR Tracked Object Manager hinzu. Dem AR Session Origin gibt man die Referenz zu der Kamera, und dem AR Tracked Object Manager die Referenz der erstellten Reference Object Library.<\/p>\n\n\n\n Zudem erstellt man ein leeres Spielobjekt und f\u00fcgt diesem eine ARSession und einen AR Input Manager hinzu.<\/p>\n\n\n\n Der Kamera f\u00fcgt man einen ARCameraBackground hinzu, damit der Kamerafeed als Skybox verwendet wird.<\/p>\n\n\n\n Schlussendlich erstellt man das Objekt, welches man an dem Scan dargestellt haben will. In diesem Tutorial verwende ich daf\u00fcr einen Default Cube. Diesen speichert man als Prefab ab.<\/p>\n\n\n\n Dieses Prefab referenziert man im AR Tracked Object Manager, der sich an dem XRRig befindet. Damit ist die Szene bereit, um mit AR Objekterkennung zu arbeiten.<\/p>\n\n\n\n Nachdem die App erstellt wurde, wird das im AR Tracked Object Manager angegebene Prefab an der Position des erkannten Scans erzeugt, sobald das gescannte Objekt in dem Kamerablickfeld erkannt wird. Diese Position wird auch weiterhin aktualisiert, solange das Ger\u00e4t das Objekt weiterhin erkennt. Insofern das Objekt vom Scan nicht erkannt wird, bleibt das Prefab an der zuletzt erkannten Position und bleibt an seiner Position im Raum zur\u00fcck.<\/p>\n\n\n\n Funktionen und Ablauf unserer App<\/strong><\/p>\n\n\n\n Bei unserer App richtet man die Kamera auf ein Lego Modell aus, welches als Referenzobjekt gespeichert wurde, sobald das Modell erkannt wird werden die fehlenden Teile auf dem Modell angezeigt. Die Teile wurden auf den korrekten Positionen gespeichert, jedoch ist in verschiedenen Tests aufgefallen, dass diese nicht in jedem Durchlauf gleich angezeigt werden. Daher haben wir Kn\u00f6pfe eingebaut, welche die Position oder Rotation auf den Achsen anpassen k\u00f6nnen. Sobald die initiale Position stimmt kann man das gew\u00fcnschte Teil platzieren und danach mithilfe der Pfeiltasten zum n\u00e4chsten Teil wechseln. Dieses wird dann an seiner entsprechenden Position angezeigt.<\/p>\n\n\n\n Ergebnisse und Probleme<\/strong><\/p>\n\n\n\n Zeit und Offset der Erkennung<\/strong><\/p>\n\n\n\n Ablauf unserer Tests:<\/p>\n\n\n\n Um die Performance der 3D-Objekterkennung zu testen bauten wir einen simplen Versuchsaufbau auf. Dazu verwendet wurden eine Softbox, welche an einem Stativ aufgeh\u00e4ngt wurde, ein Handystativ, neutralgraue Pappe, dem iPhone 11 Pro und das Scan-Testobjekt.<\/p>\n\n\n\n Die Pappe wurde als Untergrund genutzt, da wir den Scan nicht mit Umgebungsdetails verf\u00e4lschen wollten, darauf wurde das Objekt platziert. \u00dcber diesem wurde die Softbox an einem Stativ angebracht, um gleichm\u00e4\u00dfige Lichtverh\u00e4ltnisse zu garantieren, welche ohne Schatten von einer Seite aus sein sollten. Zudem wurde das Handy einmal an einem Stativ angebracht, das andere Mal wurde es Handheld genutzt.<\/p>\n\n\n\n Getestet wurden Zeit zur Erkennung, Position (X, Y, Z) und Rotation (X, Y, Z) der virtuellen Bauteile, im Vergleich zum Ursprung. Dazu wurde die Kamera des Handys auf das Objekt gerichtet und nach dem Starten der App die Zeit gemessen, bis das Objekt erkannt wurde. Daraufhin wurden die Position und Rotation der virtuellen Bauteile manuell an die korrekte Stelle des Modells verschoben. Die einzelnen Tests verliefen einmal von einem festen Punkt aus, wozu ein Handystativ genutzt wurde, das andere Mal wurde das Handy in der Hand gehalten und auf das Objekt gezielt.<\/p>\n\n\n\n Ergebnisse unserer Tests:<\/p>\n\n\n\n Schlussfolgerungen unserer Tests:<\/p>\n\n\n\n In den, aus den Tests gezogenen Werten, gab es einige aussagekr\u00e4ftige Muster. Wenn man Position und Rotation betrachtet, schwanken die Werte beim Handheld Gebrauch deutlich mehr, w\u00e4hrend beim Stativ diese Werte konsistenter sind. Wir vermuten, dass dies daran liegt, dass beim Stativ die Position nie ge\u00e4ndert werden musste und daher immer dieselben Punkte zur Erkennung dienen konnten. Beim Handheld Gebrauch ver\u00e4nderten sich diese Werte durch das leichte Schwanken der Hand und dem dadurch ver\u00e4nderten Blickwinkel.<\/p>\n\n\n\n Auff\u00e4llig bei Position und Rotation sind zum einen, dass durch das Drehen des Objektes oder Ver\u00e4nderung der Kameraposition die Position und Rotation sehr stark beeinflusst werden. Da andere Punkte des Objektes f\u00fcr das Tracking genutzt werden kann dies starke Auswirkungen auf die virtuelle Darstellung haben. Dies ist uns bei allen unserer Scans aufgefallen. Dies k\u00f6nnte an der Art und Weise des Scannens liegen, da man einen W\u00fcrfel nutzt, um die Punkte der Objekte zu sammeln und daher die Punkte anhand der 5 sichtbaren Seiten ausgerichtet sind. Anhand der starken Positionsschwankungen zwischen den einzelnen Handheld Versuchen, trotz nahezu identischer Position, kann man erkennen, dass die Scans keine exakte Repr\u00e4sentation des realen Modells sind, sondern in sich verzogen ist, was zur Folge hat, dass je nach Blickwinkel das Objekt an einer leicht ver\u00e4nderten Position erkannt wird. Der st\u00e4rkste Unterschied tritt hierbei auf wenn man von einer Scanseite zu einer anderen wechselt.<\/p>\n\n\n\n Betrachtet man nun die Zeit anstelle der Position f\u00e4llt auf, dass bis auf kleinere Ausnahmen Handheld das Objekt schneller erkannt wird als par Stativ, dies ist uns genauso w\u00e4hrend unserer Entwicklung aufgefallen, da das Objekt schneller erkannt wurde, wenn man die Kamera nicht statisch hat. Wir vermuten, dass dies daran liegt, dass durch Bewegen des Ger\u00e4tes mehr Punkte erkennbar gemacht werden und daher die Erkennung schneller erfolgt.<\/p>\n\n\n\n Bei diesem Versuch haben wir nur eine Seite des Objektes betrachtet, dies erschwerte die Platzierung an der genauen Position, da keine Tiefenwahrnehmung auf dem Bildschirm m\u00f6glich war. Da jedoch der Scan in jedem Fall in sich verzogen ist, war es nicht m\u00f6glich durch Triangulation die fehlende Tiefenwahrnehmung zu ersetzen.<\/p>\n\n\n\n Einfluss Licht und Abdeckung<\/strong><\/p>\n\n\n\n Optimale Lichtbedingungen f\u00fcr den Scan wurden von Apple zwar angegeben, bei unseren Tests konnten wir jedoch weitere Eigenschaften feststellen. Uns ist aufgefallen, dass das beste Licht umfassendes Tageslicht w\u00e4re, da dadurch die Objekte gut ausgeleuchtet werden und weder viele Schatten noch Reflektionen auftreten. Einer Softbox ist eine Alternative, hierbei ist jedoch zu beachten, dass durch den st\u00e4rkeren direkten Lichteinfall es zu auff\u00e4lligeren Schatten und Reflektionen kommen kann, diese sollten wenn m\u00f6glich vermieden werden. Auch das Verwenden von mehreren, in unserem Fall 8, normalen Lampen, die direkt von verschiedenen Winkeln auf das Modell gerichtet sind, f\u00fchrt zu akzeptablen Scanergebnissen.<\/p>\n\n\n\n Sobald der Scan erkannt wurde besteht die M\u00f6glichkeit, dass das Objekt nicht vollst\u00e4ndig ist oder von anderen Objekten verdeckt wird und dennoch erkannt wird. Dabei ist uns aufgefallen, dass beim initialen Erkennen das Objekt m\u00f6glichst genau erkennbar sein sollte, dazu z\u00e4hlt auch ausreichende Beleuchtung, jedoch nach dem Erkennen die Position ver\u00e4ndert werden kann und das Objekt zum Teil verdeckt werden kann und es dennoch weiterhin verfolgt wird. Diese Verfolgung ben\u00f6tigt jedoch je nach Scanqualit\u00e4t und Lichtverh\u00e4ltnissen ein paar Millisekunden bis zu einzelnen Sekunden. Genaue Angaben wurden in unseren Versuchen jedoch nicht getestet.<\/p>\n\n\n\n Optimale Objekte<\/strong><\/p>\n\n\n\n Optimale Objekte m\u00fcssen viele Details besitzen, da dadurch mehr Punkte genau gesetzt werden k\u00f6nnen welche f\u00fcr das Tracking genutzt werden k\u00f6nnen. Eine Wei\u00dfe Fl\u00e4che zu Beispiel enth\u00e4lt keine Stellen, welche als Punkte genutzt werden k\u00f6nnen in Abh\u00e4ngigkeit zum restlichen Objekt. Diese Details m\u00fcssen zudem einzigartige Punkte sein, da sich wiederholende Muster durch die wiederholende Struktur nicht als Einzigartig eingeordnet werden k\u00f6nnen. Dadurch ist es m\u00f6glich, dass Probleme beim Platzieren und Erkennen der Punkte entstehen. Die Objekte sollten zudem keine reflektierenden Oberfl\u00e4chen enthalten, da diese zu anderen Umgebungsbedingungen ein anderes Erscheinen haben und damit das Aussehen des Modells ver\u00e4ndern. Dies erschwert die Erkennung jedoch stark, teilweise ist die Erkennung sogar unm\u00f6glich.<\/p>\n\n\n\n Als Featurepoints z\u00e4hlen Kanten, Texturwechsel, \u00dcberg\u00e4nge und \u00c4hnliches. Ein beispielweise nahezu Ideales Objekt ist eine Ananas. Diese besitzt eine sehr detaillierte Struktur mit vielen Kanten, viele Farbwechsel auf der Oberfl\u00e4che, als auch eine g\u00e4nzlich Matte Oberfl\u00e4che.<\/p>\n\n\n\n Schlusswort<\/strong><\/p>\n\n\n\n Mit heutigen M\u00f6glichkeiten l\u00e4sst sich bereits vieles mit AR machen, sei es mit 2D oder 3D Tracking. F\u00fcr beide M\u00f6glichkeiten gibt es verschiedene Umsetzungsm\u00f6glichkeiten, welche teilweise rechenlastig und andere hardwareabh\u00e4ngig sind. Mit Optimalen Bedingungen und Objekten kann man bereits heute spektakul\u00e4re Dinge erreichen, jedoch muss an der Pr\u00e4zision noch viel gearbeitet werden. Uns h\u00e4tte es gefreut, w\u00e4re Hardware mit LiDAR Scannern verf\u00fcgbar gewesen, dadurch w\u00e4ren pr\u00e4zisere Ergebnisse m\u00f6glich gewesen, jedoch k\u00f6nnen wir zum aktuellen Zeitpunkt nur spekulieren, wie stark der Einfluss davon w\u00e4re. Wahrscheinlich w\u00e4ren Messungen pr\u00e4ziser, da der Erkennung neben den zweidimensionalen Bilddaten noch die dritte Dimension als Tiefendaten zur Verf\u00fcgung steht. Auch ohne diese Technologie konnten wir ein Prototyp erstellen, welcher einem bei kleineren Bauanleitungen helfen kann und die Eigenschaften von AR gut nutzen kann. Der Umstieg davon, anhand von 2D Bildern 3D Objekte zu analysieren, und Objekte per Abtastung direkt dreidimensional zu erkennen kann ein gro\u00dfer Sprung f\u00fcr Augmentive Reality sein; In Zukunft k\u00f6nnen dadurch Projekte wie die Apple Glasses m\u00f6glicherweise einen \u00e4hnlichen Einfluss aus\u00fcben wie zum Beispiel Smartwatches einen Weg in unseren Alltag finden.<\/p>\n\n\n\n Referenzen:<\/p>\n\n\n\n AR bei Apple:<\/p>\n\n\n\n https:\/\/www.apple.com\/de\/newsroom\/2020\/03\/apple-unveils-new-ipad-pro-with-lidar-scanner-and-trackpad-support-in-ipados\/<\/a><\/p>\n\n\n\n https:\/\/www.apple.com\/de\/augmented-reality\/<\/a><\/p>\n\n\n\n https:\/\/developer.apple.com\/augmented-reality\/arkit\/<\/a><\/p>\n\n\n\n https:\/\/developer.apple.com\/documentation\/arkit\/content_anchors\/scanning_and_detecting_3d_objects<\/a><\/p>\n\n\n\n Vuforia \u2013 3D Objekterkennung:<\/p>\n\n\n\n https:\/\/library.vuforia.com\/<\/a><\/p>\n\n\n\n AR Spiel in der Geschichte:<\/p>\n\n\n\n http:\/\/www.tinmith.net\/arquake\/<\/a><\/p>\n\n\n\n https:\/\/ir.canterbury.ac.nz\/bitstream\/handle\/10092\/2342\/12605408_2006-SIGGRAPH-ARTennis.pdf?sequence=1<\/a><\/p>\n\n\n\n https:\/\/www.pokemongo.com\/de-de\/<\/a><\/p>\n\n\n\n https:\/\/mklive.nintendo.com\/<\/a><\/p>\n\n\n\n Praktische Anwendungen AR:<\/p>\n\n\n\n https:\/\/tweakers.net\/files\/upload\/329676148-Augmented-Reality-An-Application-of-Heads-Up-Display-Technology-to-Manual-Manufacturing-Processes.pdf<\/a><\/p>\n\n\n\n https:\/\/redshift.autodesk.com\/augmented-reality-in-construction\/<\/a><\/p>\n\n\n\n https:\/\/www.airspacemag.com\/military-aviation\/super-helmet-180964342<\/a><\/p>\n\n\n\n https:\/\/pubs.rsna.org\/doi\/full\/10.1148\/radiol.2401040018<\/a><\/p>\n\n\n\n Datenschutz und AR:<\/p>\n\n\n\n![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/001-Package-Manager-1024x576.png\")
<\/a><\/figure>\n\n\n\n![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/002-Packages-All-Show-Preview-Packages-1024x576.png\")
<\/a><\/figure>\n\n\n\n![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/003-AR-Foundation-etc-1024x576.png\")
<\/a><\/figure>\n\n\n\n![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/004-Build-Platform-switching-1024x576.png\")
<\/a><\/figure>\n\n\n\n![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/005-Player-Settings-1024x576.png\")
<\/a><\/figure>\n\n\n\n![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/006-1024x576.png\")
<\/a><\/figure>\n\n\n\n![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/007-Identifier-Camera-1024x576.png\")
<\/a><\/figure>\n\n\n\n![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/008-Create-ObjLib-1024x576.png\")
<\/a><\/figure>\n\n\n\n![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/009-Add-Scan-1024x576.png\")
<\/a><\/figure>\n\n\n\n![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/010-Add-on-Lib-Name-and-select-1024x576.png\")
<\/a><\/figure>\n\n\n\n![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/011-Main-Camera-to-XR-1024x576.png\")
<\/a><\/figure>\n\n\n\n![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/012-Add-ARSessionOrigin-ArTrackedObjectManager-reference-1024x576.png\")
<\/a><\/figure>\n\n\n\n![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/013-Create-Empty-with-ARSession-ArInputManager-1024x576.png\"){kind=spacer}
<\/a><\/figure>\n\n\n\n![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/014-ArCameraBackground-1024x576.png\")
<\/a><\/figure>\n\n\n\n![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/015-Create-Object-and-safe-as-Prefab-1024x576.png\")
<\/a><\/figure>\n\n\n\n![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/016-Reference-Prefab-and-Build-1024x576.png\")
<\/a><\/figure>\n\n\n\n![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/joa.png\")
<\/a>
Aus den Ergebnissen der Tabelle k\u00f6nnen folgende Boxplots und Diagramme erstellt werden:<\/p>\n\n\n\n![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/boxplot_x_erkennung-1024x621.png\")
<\/a><\/figure>\n\n\n\n![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/boxplot_y_erkennung-1024x621.png\")
<\/a><\/figure>\n\n\n\n![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/boxplot_z_erkennung-1024x621.png\")
<\/a><\/figure>\n\n\n\n![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/boxplot_x_rotation-1024x621.png\")
<\/a><\/figure>\n\n\n\n![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/boxplot_y_rotation-1024x621.png\")
<\/a><\/figure>\n\n\n\n![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/boxplot_z_rotation-1024x621.png\")
<\/a><\/figure>\n\n\n\n![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2021\/03\/dichte_zeit_zur_erkennung-1024x621.png\")
<\/a><\/figure>\n\n\n\n