Welche akustischen Eigenschaften haben Räume? Und wie lassen sich virtuelle Klangelemente möglichst plausibel in reale Räume integrieren und miteinander verschmelzen, damit Menschen an unterschiedlichen Orten ihre virtuelle Kommunikation möglichst naturgetreu erleben? Mit diesen Fragen zur sogenannten Mixed Reality (MR), der gemischten Realität, beschäftigen sich Forschende und Studierende der Medientechnologie/Medieningenieurwissenschaften am Fachgebiet Elektronische Medientechnologie der TU Ilmenau unter Leitung von Dr. Stephan Werner. Ihr Ziel: ein Hörerlebnis zu bieten, das einem realen Szenario so nah wie möglich kommt. Im Rahmen des Projekts „Isoperare – Isoperzeptive Bereiche in der Raumakustik“, einer Forschungskooperation mit Reality Labs at Meta, haben sie ein System entwickelt, das die Raumakustik automatisiert und hochpräzise misst. Eingesetzt werden kann es unter anderem, um zukunftsweisende Anwendungen für das Metaverse wie neuartige Telekonferenzsysteme oder virtuelle Assistenzsysteme weiterzuentwickeln.
Authentische Akustik in virtuellen Welten: Wissenschaftler entwickeln mobilen Roboter für hochpräzise raumakustische Messungen
Um die Akustik eines realen Raums für Mixed Reality-Anwendungen nachzubilden, werden in der Regel vereinfachte akustische Simulationen verwendet. Auch mit Hilfe maschinellen Lernens kann die Akustik eines Raumes geschätzt werden, indem Audiodaten ausgewertet oder optische Daten wie Fotos, Videos oder 3D-Scans verwendet werden, um ein virtuelles Modell des Raums und seiner akustischen Eigenschaften zu erstellen.
„Alle diese Ansätze können die reale Raumakustik jedoch nur annäherungsweise wiedergeben“, erklärt Lukas Treybig, wissenschaftlicher Mitarbeiter und Doktorand am Fachgebiet:
Um virtuelle akustische Realitäten besser verstehen zu können, erfassen wir zunächst die reale Raumakustik örtlich hochaufgelöst. Dies ermöglicht uns dann besser angepasste Simulationen. Denn weicht die virtuelle Akustik deutlich von der realen Akustik ab, werden die virtuellen Audioobjekte nicht im Raum, sondern im Kopf wahrgenommen.
Hochpräzise Messungen an vielen Positionen im Raum sind jedoch aufwändig zu erstellen, erzeugen große Datenmengen und sind fehleranfällig. „Es ist daher praktisch unmöglich, derartige Messungen händisch durchzuführen“, so Treybig.
Automatisierte Akustikmessungen an beliebigen Positionen im Raum
Das Fachgebiet Elektronische Medientechnik hat deshalb mit Unterstützung der MetraLabs GmbH ein System entwickelt, das autonom akustische Messungen in unterschiedlichen Räumen durchführen kann. Dazu hat das Forschungsteam um Lukas Treybig, Georg Stolz und Florian Klein eine mobile Roboterplattform mit einem Mikrofonarray ausgestattet: Insgesamt sieben Mikrofone ermöglichen es dabei abzuschätzen, wie der Schall auf dem Weg von einer Schallquelle zum Mikrofonarray im Raum reflektiert wird. Damit dies für beliebige Positionen im Raum möglich ist, ist das Mikrofonarray auf einer Roboterplattform montiert, die selbständig durch den Raum navigieren und Messungen durchführen kann.
In weitergehenden Untersuchungen beschäftigt sich die Forschungsgruppe am I3TC - Ilmenau Interactive Immersive Technologies Center nun insbesondere damit, wie die gewonnen Daten ausgewertet und vereinfacht werden können, um die Akustik in diversen Anwendungen lebensnah zu reproduzieren. Bereits jetzt kommt das neue Messsystem unter anderem im Projekt Multiparties zum Einsatz, um die Hörwahrnehmung und die räumlichen Audiowiedergabe zu modellieren. Ziel des Projekts unter Führung der Brandenburg Labs GmbH, das im Rahmen von „KMU-innovativ: Interaktive Technologien für Gesundheit und Lebensqualität“ vom Bund gefördert wird, ist es, neuartige, interaktive Technologien für kollaborative Telepräsenzsysteme in der erweiterten Realität zu entwickeln. Indem realitätsnahe Augmented-Reality-Avatare mit ausdrucksstarker Gestik und Mimik mit räumlichem Audio kombiniert werden, sollen realitätsnahe Online-Treffen zwischen mehreren Personen in gemeinsamen Kommunikationsräumen ermöglicht werden. An der TU Ilmenau sind insgesamt drei Fachgebiete beteiligt, darunter auch das Fachgebiet Virtuelle Welten und Digitale Spiele und das Fachgebiet Audiovisuelle Technik.
Kontakt
Dr. Stephan Werner
Fachgebietsleiter Elektronische Medientechnologie