Forschungsprojekte

Co-Presence of Humans and Interactive Companions for Seniors

Ein zentrales Bedürfnis von Menschen ist eine eigenständige Lebensführung in regelmäßiger sozialer Interaktion mit anderen. Die im Projekt CO-HUMANICS angestrebte Technologieforschung soll dazu beitragen, dieses Bedürfnis auch in Zeiten ausgeprägter Individualisierung, räumlicher Trennung von Angehörigen und Freunden, und einer alternden Gesellschaft möglichst umfassend zu erfüllen.

Das Projekt CO-HUMANICS befasst sich mit Grundlagen- und Anwendungsforschung zu technikgestützter sozialer Co-Präsenz. Eine solche Co-Präsenz kann durch Techniken der Augmented und Mixed Reality (AR/MR) und Roboter-basierten Telepräsenz realisiert werden, bei der räumlich entfernte Personen virtuell in der realen Umgebung einer Person anwesend sind.

Die Zielgruppe des Vorhabens sind primär Senioren, d.h. speziell Personen im aktiven Rentenalter bis hin zur Hochaltrigkeit sowie ihre typischen Interaktionspartner. Es ist zu erwarten, dass die Erkenntnisse von CO-HUMANICS auch für andere Zielgruppen anwendbar sein werden und generell zu verbesserten Telepräsenz- und Assistenzsystemen zum Beispiel im professionell-/industriellen Umfeld führen werden.

(aus der Projektskizze)

gefördert durch die Carl-Zeiss-Stiftung

Sprecher: Prof. Dr.-Ing. Alexander Raake

Projektdauer: 2021 - 2026

Webseite: tu-ilmenau.de/co-humanics

6G NeXt hat sich zum Ziel gesetzt, eine skalierbare, modulare und flexible Infrastruktur zu entwickeln, auf der eine Vielfalt von Anwendungsfällen für Industrie und Endanwender realisiert werden kann, deren Anforderungen die des heutigen 5G-Netzes in Bezug auf Intelligenz, Leistungsfähigkeit und Effizienz übertreffen.

Ein Schwerpunkt des Vorhabens ist der Aufbau eines Hochleistungs-Highspeed-Backbone-Layers der über programmierbare Schnittstellen eng mit der unterliegenden Netzwerkschicht zusammenarbeitet. Dieser ermöglicht es, Rechentasks lokal, in der Edge-Cloud oder in verschiedenen Bereichen der zentralen Cloud zu berechnen. Die Zuweisung von Rechenkapazitäten erfolgt entsprechend den Anforderungen u.a. an Latenz, Energieverbrauch, Kosten. Zusatzdienste und Erweiterungen dazu werden integriert, um die heute gebräuchlichen Cloud-Infrastrukturen zu optimieren.
Im Pionierprojekt 6G NeXt werden exemplarisch zwei besonders anspruchsvolle Anwendungen mit unterschiedlichen Anforderungen entwickelt:

Intelligente Drohnen

Ein neuartiges Anti-Kollisionssystem für die Luftfahrt am Beispiel von Drohnen an Flughäfen mit gemischtem Flugverkehr. Die Flugbahnen der Luftfahrzeuge werden in Echtzeit überwacht und mittels Algorithmen Kollisionsrisiken prädiziert. Im Gefahrenfall werden die Ausweichmanöver zentral berechnet und anders als bei heutigen Lösungen die Luftfahrzeuge über 6G auch gesteuert. Diese Applikation benötigt niedrige Latenz, Synchronisation von Datenströmen und die Möglichkeit der verteilten Berechnung von Daten (Split-Computing).

HOLOCOM (Holografische Kommunikation)

Eine interaktive Ende-zu Ende Übertragung von holografischem 3D Echtzeit-Video mit fotorealistischen Inhalten und realistischer 3D-Tiefe für Videokonferenzen und Monitoring/ Inspektion von Objekten durch Drohnen. Diese Applikation benötigt hohe Bitraten im Up- und Downstream sowie eine verteilte und intelligente Videoverarbeitung.

gefördert durch das Bundesministerium für Forschung und Bildung im Rahmen des Forschungsprogramms Kommunikationssysteme „Souverän. Digital. Vernetzt.“

Verbundkoordinatorin: Mandy Galkow-Schneider (T-Labs, Deutsche Telekom AG)

Projektlaufzeit: 15.10.2022 – 14.10.2025

Webseite: 6gnext.de

Partner:

• Deutschen Telekom AG, T-Labs Spatial Computing Team
• Fraunhofer FOKUS
• Technische Universität Berlin, Fachgebiet Mobile Cloud Computing
• Technische Universität Ilmenau, Fachgebiet Audiovisuelle Technik (AVT)
• Technische Hochschule Wildau, Fachgebiet Luftfahrttechnik
• Firma SeeReal Technologies
• Firma Volucap (Volumetric Capture)
• Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI), Forschungsbereich Intelligente Netze
• Firma Logic Way
• Flugplatz Schönhagen

Das Projekt "Audiovisual Plausibility and Experience in Multi-Party Mixed Reality" (APlausE-MR) zielt darauf ab, die menschliche audiovisuelle Wahrnehmung und Kognition sowie die soziale Interaktion in verteilten Multi-Party Mixed Reality (MR) Kommunikationsszenarien zu untersuchen. Ein Hauptziel des Projekts ist es, ein solides Verständnis der Faktoren zu erlangen, die die Plausibilität und Qualität virtueller audiovisueller Erfahrungen beeinflussen, während man gemeinsam in realistische interaktive virtuelle Umgebungen (IVEs) eintaucht.

gefördert durch die Deutsche Forschungsgemeinschaft (DFG) innerhalb des DFG-Schwerpunktprogramms Auditory Cognition in Interactive Virtual Environments (AUDICTIVE)

Projektkoordinator: Prof. Dr.-Ing. Alexander Raake

Laufzeit: April 2021 bis März 2024

Webseite: APlausE-MR

Um die Validität der Forschung zu kognitiven Leistungen in klassenzimmerähnlichen Szenarien zu verbessern, ist in ECoClass-VR geplant, den Realismus dieser Paradigmen in Bezug auf kognitive Aufgaben und audiovisuelle Szenen sukzessive zu erhöhen. Zu diesem Zweck werden zwei bestehende Forschungsparadigmen zu verschiedenen kognitiven Leistungen - selektive Aufmerksamkeit und Hörverstehen - von ihrem reinen Audio-Fokus auf IVE-basierte komplexe audiovisuelle Szenen übertragen. Darüber hinaus wird ein drittes Paradigma untersucht, das speziell für die auditive Kognitionsforschung mit IVEs entwickelt wurde. Dieses Paradigma ermöglicht eine Untersuchung der Leistung der audiovisuellen Szenenanalyse für Szenen unterschiedlicher Komplexität und wird an die IVE-basierte Forschung zu Unterrichtsszenen angepasst. Um die Validität der Forschung zu kognitiven Leistungen in klassenzimmerähnlichen Szenarien zu verbessern, ist in ECoClass-VR geplant, den Realismus dieser Paradigmen in Bezug auf kognitive Aufgaben und audiovisuelle Szenen sukzessive zu erhöhen. Zu diesem Zweck werden zwei bestehende Forschungsparadigmen zu verschiedenen kognitiven Leistungen - selektive Aufmerksamkeit und Hörverstehen - von ihrem reinen Audio-Fokus auf IVE-basierte komplexe audiovisuelle Szenen übertragen. Darüber hinaus wird ein drittes Paradigma untersucht, das speziell für die auditive Kognitionsforschung mit IVEs entwickelt wurde. Dieses Paradigma ermöglicht eine Untersuchung der Leistung der audiovisuellen Szenenanalyse für Szenen unterschiedlicher Komplexität und ist an die IVE-basierte Forschung zu Szenen im Klassenzimmer angepasst. Die Hauptzielgruppe der Forschung in ECoClass-VR werden Kinder sein. In Anbetracht der Sensibilität dieser Teilnehmergruppe für empirische Forschung werden zunächst erwachsene Probanden für die methodische Forschung in Betracht gezogen. Basierend auf der Evaluierung der ersten drei Paradigmen während des ersten Teils des Projekts wird das am besten geeignete Paradigma für die prototypische Abschlussstudie mit Kindern identifiziert.

Interaktive virtuelle Umgebungen (IVEs) zielen darauf ab, den sensorischen Input der realen Welt durch entsprechende Ströme künstlicher Stimulation zu ersetzen. Wenn ein solcher Ersatz erfolgreich ist, wird die Technologie transparent und ermöglicht dem Benutzer eine natürliche Interaktion in einer virtuellen Welt. IVEs bringen neue Herausforderungen für die Qualitätsbewertung mit sich und machen die derzeitigen Bewertungsansätze in der Audio- und Videobranche teilweise unanwendbar. Das QoEVAVE-Projekt zielt darauf ab, die Lücken in den derzeitigen Qualitätsbewertungsmethoden für Audio und Video zu finden und zu schließen, und untersucht die Möglichkeit, aus dem menschlichen Verhalten in einem IVE auf die Qualität zu schließen. IVEs sind multimodal und erlauben 3- oder 6-Grad-Bewegungen in der virtuellen Szene. Im Vergleich zu einem unimodalen Szenario zeigt der Stand der Forschung, dass multimodale sensorische Stimulation signifikante Auswirkungen auf die resultierende Objektlokalisierung, Aufmerksamkeit und Qualitätsbewertung hat.

Unabhängig davon wird die Qualitätsbewertung heute meist innerhalb einer bestimmten sensorischen Modalität und ohne Interaktion durchgeführt. Das QoEVAVE-Projekt lässt sich von der Virtual Reality (VR)-Gemeinschaft und der langen Geschichte der Verwendung indirekter Methoden zur Untersuchung der kognitiven Funktionen von Immersion, Präsenz und Leistung in IVEs inspirieren. Genauer gesagt baut das Projekt auf der Grundlage der Forschung zur Erlebnisqualität (QoE) auf und integriert Methoden aus der VR-Community, um den ersten umfassenden QoE-Rahmen für IVEs zu entwickeln. Ziel ist es, eine integrierte Sicht auf die Wahrnehmung der IVE-Qualität als kognitiven Prozess und auf die kognitiven Leistungen bei bestimmten Aufgaben als IVE-Qualitätsindikatoren zu erreichen. Zusammenfassend lässt sich sagen, dass das Projekt die Divergenz zwischen der VR-Community und der Medientechnologie-Community anerkennt und sich zum Ziel gesetzt hat, das Feld im Hinblick auf die QoE-Evaluation in IVEs zu vereinheitlichen.

gefördert durch die Deutschen Forschungsgemeinschaft (DFG) im Rahmen des DFG-Schwerpunktprogramms Auditory Cognition in Interactive Virtual Environments (AUDICTIVE)

Sprecher: Prof. Dr.-Ing. Alexander Raake

Projektdauer:  Jan. 2021 - Dez. 2023

Webseite: QoEVAVE

Audiovisual Feedback to Augmented Manual Activities During Space Walks

Im Weltall ist es still, und es gibt keine akustische Rückmeldung. Ein solches Feedback hat jedoch einen großen Einfluss auf die Qualität der Arbeit im All. Ein präzises audiovisuelles Feedback kann dafür sorgen, dass Aufgaben optimal ausgeführt werden, z. B. beim Einsatz eines Werkzeugs oder beim Abklemmen eines Kabels. In diesem Projekt werden wir das Arbeiten in der Stille des Weltraums durch ein Augmented Reality (AR) auditives und visuelles Feedbacksystem unterstützen. Die Astronauten können das System während ihrer Weltraumspaziergänge nutzen. Es gibt dann realistische synthetische Klänge entsprechend der aktuellen Aufgabe oder Aktivität aus. Der Astronaut wird zusätzlich durch visuelle Elemente unterstützt, um ein möglichst hohes Maß an Feedback zu erhalten. Das System wird die Aktivitäten im Weltraum durch audiovisuelles Feedback verbessern. Die Ergänzung durch Audio gibt den Astronauten eine Bestätigung während der Tätigkeit, was zu einer natürlicheren und präziseren Ausführung der Aufgabe führen kann. Der visuelle Aspekt bietet zusätzlich eine visuelle Bestätigung während der Arbeit, zeigt zusätzliche Informationen an und kann den Astronauten Schritt für Schritt durch den Prozess führen.

Das Projekt ist ein Kooperationsprojekt zwischen dem Fachgebiet Virtuelle Welten und Digitale Spiele (VWDS) und dem Fachgebiet Elektronische Medientechnik (EMT) und wird gefördert durch die europäische Weltraumroganisation ESA.

Projektkoordinator: Dr. Tobias Schwandt

Projektlaufzeit: 2022 - 2023

Webseite: AVSPACE

Digital Twins of Humans for Space Operations with XR Telepresence

Digitale Zwillinge in XR sind virtuelle Entitäten, die reale Entitäten darstellen. Dadurch ermöglichen sie die Analyse dieser Entitäten post-hoc oder sogar in Echtzeit. In Bezug auf den Menschen werden verschiedene Daten wie z. B. Posen gesammelt und auf eine digitalisierte Version des Menschen - einen Avatar - angewendet. Dieser Avatar reproduziert dann die menschlichen Bewegungen in XR für Anwendungen wie Überwachung, Nachuntersuchungen oder Telepräsenzanwendungen. Ein solcher digitaler Zwilling kann zwar für die audiovisuelle Kommunikation eingesetzt werden, aber die Latenz verhindert oft diese spezielle Anwendung bei Weltraummissionen. Ein digitaler Zwilling in XR kann jedoch für die Überwachung und Analyse im Raumfahrtbetrieb und in Bereichen wie Montage, Integration, Test und Verifikation (AIT/AIV), Missionskontrollzentren oder in Einrichtungen für gleichzeitige Entwicklung (CDF) nützlich sein, aber auch für die Kommunikation, indem er eine immersive Sicht bietet.   

Das Projekt wird durch die europäische Weltraumroganisation ESA gefördert.

Projektkoordinator: Dr. Tobias Schwandt

Projektlaufzeit: Jan. - Dez. 2023

Webseite: Digital Twins

Immersiver Wissenszugang, kollaborative Exploration und intelligentes Retrieval in einer digitalen Weltkopie

In MetaReal können auf Basis von 3D-Rekonstruktionen real existierender Kulturgüter mit Hilfe von Virtual Reality-Technologien  durch mehrere Personen zeit- und ortsunabhängig erlebt werden. Durch den Einsatz von Augmented Reality werden auch Besucher vor Ort in ein gemeinsames Erlebnis mit den virtuellen Besuchern eingebunden. Es ermöglicht somit eine immersive und kollektive Erfahrung nach Art eines begehbaren Wikipedia, in welchem die Besucher selbst das Wissen durch ihre Interaktion mit der Umgebung anreichern und erweitern.

Das Projekt wird durch den Freistaat Thüringen im Rahmen des Landesprogramm ProDigital gefördert.

Projektkoordinator: Prof. Dr. Wolfgang Broll

Projektlaufzeit: Jan. 2020 - Juni 2024

Webseite: MetaReal

Speech Communication and Quality of Experience in Augmented Reality-based Multi-Person Conferencing

In den letzten Jahren haben Videokonferenzen im Allgemeinen und insbesondere im Zusammenhang mit der Corona-Pandemie eine beispiellose Verbreitung erfahren. Es hat sich gezeigt, dass dabei viele Aspekte der zwischenmenschlichen Kommunikation verloren gehen und gleichzeitig eine deutlich erhöhte kognitive Belastung für die Nutzer entsteht. MULTIPARTIES zielt daher auf die Entwicklung neuartiger, interaktiver Technologien zur Realisierung kollaborativer Telepräsenzsysteme in Augmented Reality (AR): Mittels realistischer Augmented-Reality-Avatare mit ausdrucksstarker Gestik und Mimik in Kombination mit räumlichem Audio schafft das Projekt einen gemeinsamen Kommunikationsraum. Dies vermittelt den Teilnehmern den Eindruck, gemeinsam an einem Ort zu sein (Telepräsenz und Kopräsenz). Das kollaborative Projekt ermöglicht auch den intuitiven Einsatz von Körpersprache und selektiver akustischer Wahrnehmung und Kommunikation. Der Erfolg von MULTIPARTIES kann sowohl durch eine nutzerzentrierte Evaluation der Technologien als auch durch den Vergleich mit anderen Systemen gemessen werden.

gefördert durch das BMBF im Rahmen des Programms kmu-innovativ

Projektkoordinatoren: Prof. Dr. Wolfgang Broll (VWDS), Prof. Dr. Alexander Raake (AVT), Dr. Stephan Werner (EMT)

Projektlaufzeit: 2022 - 2024

Webseite: Multiparties

Neuromorphe akustische Sensorik für leistungsfähige Hörgeräte von morgen

Mehr als 11 % der Menschen in der EU sind von einem Hörverlust betroffen, aber nur 41 % nutzen ein Hörgerät, weil es immer noch Probleme mit dem Sprachverständnis und der Anpassung der Geräte gibt. Das Projekt NeuroSensEar verfolgt das Ziel, die Akzeptanz von und die Versorgung mit Hörhilfen zu verbessern, indem deren Leistungsfähigkeit deutlich erhöht und die Anpassung an den Patienten und verschiedene Hörsituation stark erleichtert und automatisiert wird. Dazu werden Prinzipien der biologischen Informationsverarbeitung in die Hörgerätetechnologie integriert und interaktive Leistungen für ein besseres Hörverstehen erforscht, so dass Menschen mit einer Hörminderung ihre Fähigkeit, das Gehör wahrzunehmen, weitgehend wiedererlangen. Ziel ist es, die Akzeptanz und Versorgung mit Hörgeräten deutlich zu verbessern, indem die Leistung der Hörgeräte deutlich erhöht und die Anpassung an den Patienten und die unterschiedlichen Hörsituationen stark erleichtert und automatisiert wird. Dies wird langfristig dazu beitragen, die wirtschaftlichen Kosten und die schwerwiegenden sozialen Folgen im Sinne einer nachhaltigen und effizienten Gesundheitsversorgung zu reduzieren. Als Durchbruch wollen wir zwei Hauptprobleme der derzeitigen Hörgeräte lösen: 1. das Hörverstehen in schwierigen Hörsituationen mit vielen Schallquellen und geringem Signal-Rausch-Verhältnis. 2. die lebenslange Fähigkeit, neue Hörsituationen und -anforderungen zu erkennen, zu erlernen und zu bewältigen, und zwar durch eine kontinuierliche Anpassung an den Träger und sein Gehör sowie an die sich verändernde Lebens- und Umweltumgebung.

gefördert durch die Carl-Zeiss-Stiftung

Ansprechpartner: Prof. Martin Ziegler und Dr. Claudia Lenk (FG Mikro- und nanoelektronische Systeme)

Projektlaufzeit: 01.10.2023 - 30.09.2028

Webseite: NeuroSensEar

Perception-oriented Quality Modelling for 8K Live Video

PoQuMo8K befasst sich mit der Entwicklung einer technischen Lösung für die nutzerzentrierte Qualitätsbewertung und Kodierungsoptimierung des neuartigen Videoformats 8K UHD-2. Dieses Format ermöglicht einen stärkeren Realitätseindruck und ein wesentlich höheres Maß an Immersion als bisher. Bei der Verwendung in Live-Anwendungen ermöglicht es eine hochgradig immersive Ansicht von Veranstaltungen wie Konzerten, Sport und Vorträgen. Die Codierung und das Streaming von 8K-Inhalten in hoher Qualität und in Echtzeit ist eine Herausforderung und erfordert modernste Videokompressionstechnologien. Mehr noch als bei niedrigeren Auflösungen müssen Encoder-Entwickler und Dienstanbieter sicherstellen, dass das gelieferte Video eine hohe visuelle Qualität für die Zuschauer bietet. Daher wird eine Lösung für die Qualitätsbewertung von 8K-Medien benötigt, die die menschliche visuelle Wahrnehmung widerspiegelt. PoQuMo8K adressiert diesen Bedarf, indem es einen Videoqualitätsalgorithmus für eine automatisierte, wahrnehmungsbasierte Echtzeit-Qualitätsbewertung für die Überwachung von Live-Diensten sowie für einen Teil der Codierung von 8K-Video in Live-Anwendungsszenarien vorschlägt.

gefördert im Rahmen von FuE-Kooperationsprojekte von Unternehmen

Projektpartner: Spin Digital Video Technologies GmbH (https://spin-digital.com)

Projektmanager: Prof. Dr.-Ing. Alexander Raake

Webseite: PoQuMo8K