Sensor simulation for monocular depth estimation using deep neural networks. - In: 2021 International Conference on Cyberworlds, (2021), S. 9-16
Depth estimation is one of the basic building blocks for scene understanding. In the case of monocular depth estimation using neural networks, many such approaches are highly hardware dependent because they result in a task- and environment-specific optimizing problem. Most DNN methods use commonly available datasets which leads to overfitting on particular sensor properties. Finding a generalized model with the consideration of different hardware properties of sensors and platforms is challenging if not impossible. For this reason, it is desirable to adapt existing and well-trained models into a new domain in order to let them simulate different depth sensors without the need for large datasets and time-consuming learning. Therefore, a small dataset has been created with the Structure Sensor for evaluating the transferable structural characteristic between neural networks. Finally, two input feature representations for the neural networks are considered to mimic the depth sensor including its artifacts including holes. The results show that a simple domain adaptation technique and a small dataset are adequate to simulate and adapt to a specific domain from a target domain. Therefore, the network is able to accurately predict depth maps as if they were created by a specific depth sensor. This also includes unique artifacts of the sensor, thereby allowing for a plausible simulation of specific depth sensing hardware which is beneficial for areas like prototyping in the context of Augmented Reality.
https://doi.org/10.1109/CW52790.2021.00010
Exploring augmented reality privacy icons for smart home devices and their effect on users' privacy awareness. - In: 2021 IEEE International Symposium on Mixed and Augmented Reality adjunct proceedings, (2021), S. 409-414
Smart home devices often blend in seamlessly into the environment and operate ubiquitously, providing almost no contextual information such as data collection or activated sensors. Augmented Reality (AR) could, for example in form of head-mounted-displays (HMD), offer users a non-intrusive way to query the devices and to get privacy-related information. This pilot study explored how privacy icons, displayed by an AR-HMD and co-located with smart home devices, affect users' privacy awareness. In a qualitative within-subject study, 16 participants experienced first a setup without AR privacy information and then one with such information. Participants' answers indicate a high potential and excitement towards such a setup. Among others, they stated changed privacy awareness after experiencing AR privacy icons: While the icons prioritized privacy-related information for users and educated them to promote conscious decision-making, they sometimes also reinforced existing negative attitudes towards smart home devices. Further, the display of icons in AR has the potential to inspire trust towards manufacturers and providers, potentially leading to a false sense of security. Next to the discussion of participants' answers, we outline the implications of our findings and provide recommendations for future research including trust and learning effects.
https://doi.org/10.1109/ISMAR-Adjunct54149.2021.00093
Point cloud upsampling and normal estimation using deep learning for robust surface reconstruction. - In: VISIGRAPP 2021, (2021), S. 70-79
The reconstruction of real-world surfaces is on high demand in various applications. Most existing reconstruction approaches apply 3D scanners for creating point clouds which are generally sparse and of low density. These points clouds will be triangulated and used for visualization in combination with surface normals estimated by geometrical approaches. However, the quality of the reconstruction depends on the density of the point cloud and the estimation of the surface normals. In this paper, we present a novel deep learning architecture for point cloud upsampling that enables subsequent stable and smooth surface reconstruction. A noisy point cloud of low density with corresponding point normals is used to estimate a point cloud with higher density and appendant point normals. To this end, we propose a compound loss function that encourages the network to estimate points that lie on a surface including normals accurately predicting the orientation of the surface. Our results show t he benefit of estimating normals together with point positions. The resulting point cloud is smoother, more complete, and the final surface reconstruction is much closer to ground truth.
High-quality illumination of virtual objects based on an environment estimation in mixed reality applications. - Wiesbaden : Springer Vieweg, 2021. - xxvii, 122 Seiten. - (Research)
Technische Universität Ilmenau, Dissertation 2021
ISBN 978-3-658-35191-5
Die Visualisierung virtueller Objekte in der Realität erfolgt bei vielen Anwendungen oftmals durch eine vereinfachte Darstellung ohne Bezug zur umliegenden Umgebung. Dabei ist die nahtlose Verschmelzung der virtuellen und realen Umgebung in vielen Bereichen ein wesentlicher Faktor, der insbesondere bei der Beleuchtungsberechnung in gemischten Realitäten von großer Bedeutung ist. Aktuelle Ansätze legen den Fokus auf Approximationen, welche eine Berechnung der diffusen Beleuchtung ermöglichen, wobei die Darstellung glänzender Beleuchtungseigenschaften vernachlässigt wird. Das Ziel dieser Arbeit ist eine Visualisierung von spiegelnden Oberflächen in erweiterten Realitäten zu ermöglichen. Um dieses Ziel zu erreichen werden verschiedene Verfahren aufgezeigt, die eine hochwertige Darstellung virtueller Objekte in Echtzeit ermöglichen, wobei der Fokus auf der Verwendung üblicher Hardware wie Kameras, Sensoren in mobilen Endgeräten und teilweise Tiefensensoren liegt. Das erste Verfahren verwendet das aktuelle Kamerabild zur Rekonstruktion einer 360-Grad Beleuchtung durch die Transformation des Bildes auf eine Würfelkarte. Anschließend wird dieser Ansatz durch ein Stitching erweitert, bei dem das aktuelle Bild zusammen mit der Position und Rotation der Kamera genutzt wird, um eine Umgebungsbeleuchtung zu erstellen. Dabei von der Kamera nicht erfasste Bereiche werden durch ein semantisches Inpainting, basierend auf einem neuronalen Netz, aufgefüllt. Hierdurch kann das komplette Umgebungslicht approximiert werden, welches die Darstellung detaillierter Reflexionen ermöglicht. Die Ergebnisse der Ansätze zeigen neuartige Möglichkeiten, geometrische Formen mit glänzenden Oberflächen in die reale Umgebung einzubetten und bietet im Vergleich zu bestehenden Methoden einen höheren Detailgrad in den Reflexionen. Alle Ansätze sind für eine Verwendung auf mobilen Endgeräten konzipiert, wodurch neue Möglichkeiten für verschiedene Einsatz- und Anwendungsbereiche der erweiterten Realität existieren.
S3D dashboard : exploring depth on large interactive dashboards. - Wiesbaden : Springer Vieweg, 2021. - xxviii, 202 Seiten. - (Research)
Technische Universität Ilmenau, Dissertation 2021
ISBN 978-3-658-35146-5
Die Benutzungsschnittstelle von Fahrzeugen hat sich in den letzten Jahren ständig verändert. Die primären Interaktionsgeräte blieben nahezu unverändert. Jedoch haben Entwicklungen wie das automatisierte Fahren dazu geführt, dass neue Ein- und Ausgabegeräte Einzug hielten. Eine vielversprechende, jedoch kaum erforschte Modalität sind stereoskopische 3D (S3D) Armaturenbretter. Das Ersetzen des traditionellen Armaturenbrettes mit einem großen Display, welches binokulare Tiefeninformationen darstellt, könnte neue Möglichkeiten für Forschung und Industrie bieten. Um Forschung an dieser Technologie zu ermöglichen, stellen wir eine Entwicklungsumgebung vor. Diese besteht aus einer Virtual-Reality-Umgebungssimulation und einem Fahrzeug-Mock-up. Das Mockup ist mit einem Spatial-Augmented-Reality-Armaturenbrett ausgestattet. Weiterhin wurde für dieses Setup eine Zone für komfortables Sehen ermittelt. Darauf aufbauend wurden Anwendungsfälle aus den Bereichen des manuellen und automatisierten Fahrens untersucht. Basierend auf der Entwicklung von Fahrzeug-Benutzungsschnittstellen wurde der Fokus auf Fahrerablenkung während des manuellen Fahrens, auf Vertrauen, der Wiederaufnahme der Fahraufgabe und dem Durchführen von nicht-fahrbezogenen Aufgaben während dem bedingten bzw. hochautomatisierten Fahren gelegt. Die Ergebnisse zeigen, dass S3D auf dem ganzen Armaturenbrett für die Menünavigation und zum Hervorheben von Inhalten genutzt werden kann, ohne die Fahrperformance zu beeinträchtigen. Weiterhin wird gezeigt, dass ein intelligenter Agent, dargestellt in S3D, sicheres Fahren fördert. Darüber hinaus wird gezeigt, dass stereoskopische Navigationshinweise das Wiederaufnehmen der Fahraufgabe in einem hochautomatisierten Fahrzeug verbessern. Schlussendlich wird untersucht, wie Menschen mit stereoskopischen Inhalten, dargestellt auf einem S3D-Armaturenbrett, interagieren und ein benutzerdefiniertes Gestenset für die Interaktion vorgestellt. Abschließend wird, basierend auf den Resultaten dieser Studien, die Benutzungsschnittstelle diskutiert. Die Ergebnisse dieser Arbeit - Entwicklungswerkzeuge, Daten der Nutzerstudien und Interaktionstechniken - legen die Grundlage für zukünftige Forschung an S3D-Armaturenbrettern. Sie sind Basis und Motivation für weitere Arbeiten und legen nahe, dass S3D-Armaturenbretter eine tragfähige Rolle in zukünftigen Fahrzeugen spielen können.
Neural network-based traffic sign recognition in 360˚ images for semi-automatic road maintenance inventory. - In: 2020 IEEE 23rd International Conference on Intelligent Transportation Systems (ITSC), (2020), insges. 7 S.
https://doi.org/10.1109/ITSC45102.2020.9294610
Haptic space: the effect of a rigid hand representation on presence when interacting with passive haptics controls in VR. - In: 19th International Conference on Mobile and Ubiquitous Multimedia, (2020), S. 245-253
Many virtual reality (VR) applications rely on passive haptics where virtual objects have a real counterpart that provides tactile feedback. In addition to that, many VR applications do not provide accurate hand representations, especially when there is a high chance of occlusion as this makes vision-based tracking problematic. Hence, we investigated how a simple hand representation affects user experience and presence when interacting with passive haptic controls in a virtual environment. We report on a between-subject user study where N = 45 participants experienced one of three conditions (no hands at all, hands represented as a rigid 3D model, and hands represented as a rigid 3D model with a snapping mechanism). Our results indicate that a simple hand representation using a 3D model of hands paired with a snapping mechanism significantly increases presence and user experience. That indicates that this simple and low-cost technique is effective to improve the VE as a whole. This, in return, provides a chance for improvement for many VR applications with passive haptics.
https://doi.org/10.1145/3428361.3428388
InpaintFusion: incremental RGB-D inpainting for 3D scenes. - In: IEEE transactions on visualization and computer graphics, ISSN 1941-0506, Bd. 26 (2020), 10, S. 2994-3007
State-of-the-art methods for diminished reality propagate pixel information from a keyframe to subsequent frames for real-time inpainting. However, these approaches produce artifacts, if the scene geometry is not sufficiently planar. In this article, we present InpaintFusion, a new real-time method that extends inpainting to non-planar scenes by considering both color and depth information in the inpainting process. We use an RGB-D sensor for simultaneous localization and mapping, in order to both track the camera and obtain a surfel map in addition to RGB images. We use the RGB-D information in a cost function for both the color and the geometric appearance to derive a global optimization for simultaneous inpainting of color and depth. The inpainted depth is merged in a global map by depth fusion. For the final rendering, we project the map model into image space, where we can use it for effects such as relighting and stereo rendering of otherwise hidden structures. We demonstrate the capabilities of our method by comparing it to inpainting results with methods using planar geometric proxies.
https://doi.org/10.1109/TVCG.2020.3003768
Environment estimation for glossy reflections in mixed reality applications using a neural network. - In: Special Issue on Cyberworlds and Cybersecurity, (2020), S. 26-42
AR training for paragliding pilots: an investigation of user experience and requirements. - In: 2019 21st Symposium on Virtual and Augmented Reality, (2019), S. 92-101
https://doi.org/10.1109/SVR.2019.00030