Im Rahmen der 16. ACM Multimedia Systems Conference (MMSys'25), die vom 31. März bis 4. April 2025 in Stellenbosch, Südafrika stattfand, wurde das Paper "AMIS: Ein audiovisueller Datensatz für multimodale XR-Forschung" im Track für Open-Source-Software und -Datensätze (ODS) präsentiert. Im Fokus stand die praktische Umsetzung des AMIS-Datensatzes, der gezielt für die Forschung in immersiver Medienkommunikation und sozialen XR-Umgebungen entwickelt wurde.

Der Datensatz basiert auf einer systematischen Erfassungsstrategie, bei der audiovisuelle Inhalte synchron in vier Modalitäten aufgenommen wurden: Talking-Head-Videos, Ganzkörpervideos, personalisierte animierte Avatare sowie volumetrische Avatare. Für die Erstellung der 3D-Avatare wurden reale Personen in einer kontrollierten Studioumgebung mithilfe spezialisierter Kamera- und Tracking-Systeme aufgenommen. Basierend auf diesen Aufnahmen wurden Bewegungs- und Mimikdaten extrahiert, die zur Animation der Avatare genutzt wurden.

Für die Erstellung der 3D-Avatare wurden reale Personen in einer kontrollierten Studioumgebung mithilfe spezialisierter Kamera- und Tracking-Systeme aufgenommen. Basierend auf diesen Aufnahmen wurden Bewegungs- und Mimikdaten extrahiert, die zur Animation der Avatare genutzt wurden.

Das aufgezeichnete Material umfasst sowohl Monologe als auch dyadische Dialoge, um eine breite Palette realistischer Interaktionsszenarien abzubilden - von klassischen Videokonferenzen bis hin zu immersiven XR-Meetings mit lebensechten, personalisierten Avataren. Ziel des Projekts ist es, eine modulare, wiederverwendbare und öffentlich zugängliche Datenbasis für die Forschung an zukünftigen Kommunikationsformen in virtuellen und erweiterten Realitäten bereitzustellen.

Weitere Details finden Sie in der Veröffentlichung: https://dl.acm.org/doi/abs/10.1145/3712676.3718344 
Zugriff auf den Datensatz: https://github.com/Telecommunication-Telemedia-Assessment/AMIS