Publikationen

In der Natur ist jede Interaktion des Lichts mit Materie in einen globalen Kontext eingebunden, weswegen alle natürlichen Beleuchtungsphänomene in unserer Umwelt das Resultat globaler Beleuchtung sind. Diese basiert auf der Anwendung mannigfaltiger Absorptions-, Reflexions- und Brechungsgesetze, deren Simulation so komplex ist, dass interaktive Anwendungen diese nicht in wenigen Millisekunden berechnen können. Deshalb wurde bisher in vielen interaktiven Systemen auf die Abbildung von solchen globalen Beleuchtungsphänomenen verzichtet, was jedoch zu einer unrealistischen und synthetisch-wirkenden Darstellung führte. Diese unrealistische Darstellung ist besonders für die Anwendungsfelder Virtual Reality und Augmented Reality, bei denen der Nutzer eine möglichst realitätsnahe Simulation erfahren soll, ein gewichtiger Nachteil. In dieser Arbeit wird das LightSkin-Verfahren vorgestellt, das es erlaubt, globale Beleuchtungsphänomene in einer Echtzeitanwendung darzustellen. Das Verfahren wurde speziell für die Anwendungsfelder Virtual Reality und Augmented Reality entwickelt und erfüllt spezifische Anforderungen, die diese an eine Echtzeitanwendung stellen. Bei dem Verfahren wird das indirekte Licht durch eine geringe Anzahl von Punktlichtquellen (Proxy-Lichtquellen) repräsentiert, die für eine lose Menge von Oberflächenpunkten (Caches) berechnet und anschließend über die komplette sichtbare Szene interpoliert werden. Diese neue Form der Repräsentation der indirekten Beleuchtung erlaubt eine effiziente Berechnung von diffusen und glänzenden indirekten Reflexionen, die Abbildung von weichen Schatten und die Simulation von Multiple-Subsurface-Scattering-Effekten in Echtzeit für komplexe und voll dynamische Szenen. Ferner wird gezeigt, wie das Verfahren modifiziert werden kann, um globale Lichtwechselwirkungen zwischen realen und virtuellen Objekten in einer Augmented-Reality-Anwendung zu simulieren. Im Gegensatz zu den meisten existierenden Echtzeitverfahren zur Simulation von globalen Beleuchtungseffekten benötigt der hier vorgestellte Ansatz keine aufwändigen zusätzlichen Berechnungen bei Animationen und erzeugt darüber hinaus für diese keine visuellen Artefakte. Diese Arbeit enthält alle Informationen, die zum Verständnis, zur Implementierung und zur Evaluation des LightSkin-Verfahrens benötigt werden und gibt darüber hinaus einen umfassenden Überblick über das Forschungsfeld.

Diminished Reality ist eine neue faszinierende Technologie, die es ermöglicht, reale Inhalte aus Live-Kamerabildern zu entfernen. Die Live-Videomanipulation entfernt reale Objekte und erzeugt in Echtzeit einen kohärenten Video-Stream. Dabei können die Betrachter keine Manipulation feststellen. Derzeit existierende Ansätze sind auf sich bewegende Objekte und statische oder weitestgehend statische Kameras beschränkt und erlauben keine Manipulation des Videoinhalts in Echtzeit. In dieser Arbeit wird ein innovativer Ansatz vorgestellt, der das Entfernen von Objekten bei beliebigen Kamerabewegungen ermöglicht. Dabei gilt es vorrangig, zwei Herausforderungen zu lösen. Zum einen wird eine Bild-Inpainting-Methode benötigt, die innerhalb weniger Millisekunden auf jedes Kamerabild angewandt werden kann und qualitativ hochwertige Ergebnisse liefert. Zum anderen muss ohne die Verwendung vergangener oder zukünftiger Kamerabilder eine Bild-zu-Bild-Kohärenz erzeugt werden. In dieser Arbeit wird eine neuartige und leistungsfähige Selektionsstrategie vorgestellt, die auf sogenannten Fingerabdrücken basiert, damit unerwünschte Inhalte selbst auf heterogenen Hintergründen bestimmt werden können. Der Inpainting-Ansatz wurde ausgehend von bereits bekannten randomisierten Ansätzen und Verfahren mit mehreren Bildebenen entwickelt. Qualitativ hochwertige Ergebnisse können in Echtzeit durch die Anwendung einer einzigartigen Initialisierungsstrategie und einer neuartigen Kostenfunktion, die die Kohärenzabweichung miniert, erzeugt werden. Die Kostenfunktion kombiniert räumliche und erscheinungsbasierende Kosten. Der auf Homographie basierte Ansatz erzeugt eine Bild-zu-Bild-Kohärenz beim Entfernen von Objekten, vor überwiegend ebenen Hintergründen und unterstützt Rotationsbewegungen der Kamera um das zu entfernende Objekt. Obwohl der Ansatz etwa zwei Zehnerpotenzen schneller ist als aktuelle, vergleichbare Inpainting-Ansätze, zeigt sich, dass er für bekannte Testbilder durchgängig qualitativ gleichwertige oder bessere Ergebnisse erzeugt. Ein erster Test mit Nutzern zeigt, dass Videomanipulationen, die mit diesem Ansatz durchgeführt werden, für Testpersonen kaum zu erkennen sind, sogar wenn diese sich der Manipulationsmöglichkeiten bewusst sind. Basierend auf diesen Ergebnissen eröffnet der in der Arbeit vorgestellte Ansatz eine Fülle neuer Möglichkeiten für interaktive und echtzeitfähige Manipulationen, die vor allem in TV- und Filmproduktionen sowie im Bereich der Werbung eingesetzt werden können.