Online-Treffen und Videokonferenzen sind inzwischen alltäglich, doch noch immer unterscheiden sie sich stark von echten Zusammenkünften. Zwischenmenschliche Aspekte gehen verloren, die Teilnehmenden ermüden schneller und sind kognitiv stärker belastet. In einem mehrjährigen Forschungsprojekt haben die Consensive GmbH aus Weimar, die Brandenburg Labs GmbH aus Ilmenau und die Technische Universität Ilmenau erforscht, wie Extended Reality (XR)-Telepräsenzsysteme Abhilfe schaffen können.
In einem lichtdurchfluteten Raum der Galerie Eigenheim in Weimar setzen sich die Gäste VR-Brillen und Kopfhörer auf – ebenso wie ihre Kollegen und Kolleginnen in Aachen, Lübeck und Ilmenau. Sekunden später finden sie sich in einer gemeinsamen Umgebung wieder – obwohl sie eigentlich auf unterschiedliche Orte verteilt sind. Statt als Kacheln auf einem Bildschirm sehen sie einander als Avatare, die sich zulächeln und zuwinken, sich im Raum bewegen und sogar einander die Hände schütteln können. Stimmen klingen plötzlich so räumlich und echt, dass man sich fast zu seinem Gegenüber lehnen möchte, um ihm etwas zuzuflüstern.
Es ist die Abschlussdemonstration des Forschungsprojekts MULTIPARTIES, an dem die TU Ilmenau gemeinsam mit der Consensive GmbH in Weimar und den Ilmenauer Brandenburg Labs gearbeitet hat. Ziel war es, Videokonferenzen natürlicher zu machen – und damit digitale Arbeit und Kommunikation leichter und menschlicher.
Denn viele Menschen erleben es immer wieder: Nach zwei Stunden Videokonferenz ist man erschöpft, obwohl man die ganze Zeit nur am Schreibtisch saß. Der Blick schweift ständig zum eigenen Kamerabild, die Kollegin aus Hamburg wirkt irgendwie distanziert, und das Gespräch stockt, sobald mehrere Personen durcheinanderreden. Online-Meetings haben die Arbeitswelt revolutioniert – aber sie fühlen sich selten wie echte Treffen an.
Mehr als nur Gesichter in Kacheln
Genau an diesem Punkt setzt das Forschungsprojekt MULTIPARTIES an, an dem die TU Ilmenau zusammen mit Unternehmen aus Ilmenau und Weimar gearbeitet hat. Die Idee: Mit Extended Reality (XR) die virtuelle Begegnung so lebendig machen, dass man fast vergisst, dass man sich nicht im selben Raum befindet.
Um ein solches Gefühl von Co-Präsenz zu ermöglichen, haben die Partner, aufbauend auf der VR4More Plattform der Consensive GmbH und der Deep Dive-Audio-Technologie von Brandenburg Labs, ein 3D-Kommunikationssystem entwickelt, das mehr kann als nur Gesichter in Kacheln auf dem Bildschirm zeigen. Stattdessen erscheinen die Teilnehmenden als realitätsnahe 3D-Avatare, die mit Gestik, Mimik und räumlichem Klang auftreten. Wer sich im virtuellen Raum umdreht, hört in Echtzeit die Stimme seines Gegenübers tatsächlich von der Seite. Man kann nähertreten, eine Gruppe bilden oder die anderen sogar per Handschlag grüßen. Das alles passiert immersiv über VR-Brillen und Kopfhörer – und sorgt dafür, dass die digitale Begegnung natürlicher wird.
Avatare, virtuelle Werkzeuge und räumlicher Klang
Damit das möglich wurde, haben drei Fachgebiete der TU Ilmenau, ihre Expertise vereint und die hochmoderne Infrastruktur im VR-Zentrum des Ilmenau Interactive Immersive Technologies Center (I3TC) genutzt:
Ein Forschungsteam am Fachgebiet Virtuelle Welten und Digitale Spiele (VWDS) untersuchte, wie Avatare, Menüs und virtuelle Werkzeuge gestaltet sein müssen, damit sich XR-Meetings möglichst natürlich und intuitiv anfühlen – auch dann, wenn die Konferenzteilnehmenden nicht nur miteinander sprechen, sondern auch gemeinsam mit Dingen im Raum arbeiten möchten. Fachgebietsleiter Prof. Wolfgang Broll erklärt:
Unsere Forschung zeigt, dass bereits kleine Unterschiede in der Gestaltung von Avataren, beispielsweise ob dieser eher stilisiert oder möglichst realitätsnah dargestellt werden, einen großen Einfluss darauf haben kann, wie man andere Teilnehmer eines virtuellen Meetings wahrnimmt und mit ihnen interagiert.
Ein zweites Team am Fachgebiet Elektronische Medientechnik (EMT) entwickelte Verfahren, um räumlichen Klang als so genanntes plausibles Audio so realistisch wie möglich räumlich nahtlos in die Umgebung einzubinden. Fachgebietsleiter Dr. Stephan Werner:
Wir haben untersucht, wie sich Räume akustisch möglichst präzise erfassen und die gewonnenen Daten für maschinelles Lernen nutzen lassen. So können wir vorhersagen, wie Menschen räumlichen Klang wahrnehmen – und die Audiowiedergabe in Echtzeit anpassen. Das ist entscheidend, damit virtuelle Gespräche genauso mühelos klingen wie reale.
Wissenschaftler am Fachgebiet Audiovisuelle Technik (AVT) schließlich erforschten unter der Leitung von Prof. Alexander Raake, wie Nutzerinnen und Nutzer die neue Art der Kommunikation erleben, das heißt wie verschiedene visuelle Darstellungen wirken und wie sich das Verhalten der Teilnehmenden verändert. Dabei untersuchten sie sowohl Aspekte der audiovisuellen Qualität als auch der so genannten Quality of Experience. Die Ergebnisse präsentierten die Forschenden nicht nur auf internationalen Konferenzen, sondern stellten auch einen frei zugänglichen Datensatz bereit. Gleichzeitig flossen ihre Erkenntnisse in die Arbeit internationaler Gremien wie der International Telecommunication Union ein. Ziel ist es, weltweit einheitliche Standards für Extended-Reality-Technologien zu entwickeln – damit sich die Qualität von XR-Anwendungen zuverlässig beurteilen lässt.
Mehr soziale Nähe und Möglichkeiten für gesellschaftliche Teilhabe
Für Audiopionier Prof. Karlheinz Brandenburg, CEO von Brandenburg Labs und Senior-Professor an der TU Ilmenau, ist das Projekt ein wichtiger Schritt nach vorne:
Mit dem Projekt sind wir dem Ziel nähergekommen, digitale Arbeits- und Kommunikationsprozesse zu verbessern, weil sie natürlicher werden. MULTIPARTIES ist ein wichtiger Meilenstein, um Barrieren in Videokonferenzen abzubauen und mehr soziale Nähe zu schaffen. Damit öffnen wir auch Freiraum für neue Möglichkeiten der gesellschaftlichen Teilhabe.
Tatsächlich sind die Ergebnisse nicht nur für Videokonferenzen spannend. Sie könnten künftig auch in intelligenten Kopfhörern, bei industriellen Fernwartungen, in hybriden Konferenzen oder sogar in Museen zum Einsatz kommen. Was heute noch ein Forschungsdemonstrator ist, könnte in einigen Jahren Alltag sein: Online-Treffen, die sich so anfühlen, als wäre man wirklich dabei.
Das Verbundprojekt MULTIPARTIES wurde im Rahmen von „KMU-innovativ: Interaktive Technologien für Gesundheit und Lebensqualität“ aus Mitteln des Bundes mit der VDI/VDE Innovation + Technik GmbH als Projektträger gefördert.
Kontakt
Prof. Wolfgang Broll
Fachgebietsleiter Virtuelle Welten und Digitale Spiele