http://www.tu-ilmenau.de

Logo TU Ilmenau


Ansprechpartner

Dr.-Ing. Stephan Werner

Kommissarischer Fachgebietsleiter

Telefon +49 3677 69-1653

E-Mail senden

Ihre Position

INHALTE

Auditory Augmented Reality

Einordnung in das Reality-Virtuality Continuum nach: Paul Milgram, Haruo Takemura, Akira Utsumi, Fumio Kishino. Augmented Reality - A class of displays on the reality-virtuality continuum. SPIE-Telemanipulation and Telepresence Technologies 2351 (2017)

Die Augmentierung seiner Umwelt beschreibt ein Vermehren der individuellen Wahrnehmungsereignisse um sich herum. Am Beispiel der Augmentierten Realität (AR) bedeutet dies ein Hinzufügen von virtuellen Objekten in den realen Raum. Dies kann für Videoobjekte aber eben auch für Audioobjekte erfolgen. Die Bewegungen des Nutzers werden sowohl in seiner Kopfausrichtung als auch in der Position im Raum erfasst und für die räumlich korrekte Erzeugung der virtuellen Objekte genutzt. 

Nachstehend finden Sie ein paar Beispiele, die mit einem Audio-AR System möglich sind.

 

 

5-Kanal Surround via Binaural

Im Mittelpunkt dieses Projekts steht eine echtzeitfähige positionsdynamische Binauralsynthese. Die hierfür benötigten Übertragungsfunktionen von jeder Schallquelle zu allen möglichen Abhörpositionen werden aus lediglich einer Kunstkopfmessungen von nur einer Position im dargestellten Raum berechnet.

Es wird ein fünfkanaliges Surround-Lautsprecher-Setup in einem realen Raum auralisiert. Die dargestellten Lautsprecher dienen nur zur Visualisierung der virtuellen Lautsprecherpositionen. Der Zuhörer kann sich in einem Bereich von 4 x 4 Metern frei bewegen. Die Kopfposition und die Kopfposition werden kontinuierlich über ein Tracking-System erfasst. Das Audiosignal ist eine Jazz-Produktion, die in diskretem Surround-Sound gemischt ist. Die Wiedergabe ist optimiert für den Beyerdynamic DT1990pro Kopfhörer.

Sie können das Video in hoher Qualität hier herunterladen oder einen Blick auf unseren YouTube-Kanal werfen. Bitte beachten Sie, dass diese Demo am besten funktioniert, wenn Sie sich im selben Raum befinden, in dem die Aufnahmen gemacht werden. Darüber hinaus führt eine akustische und visuelle Abweichung zwischen Ihrer tatsächlichen Umgebung / Ihrem Raum und der präsentierten Szene zu einer mangelnden Plausibilität. Dies ist ein Schwerpunkt unserer Forschung.

Für Kommentare und Fragen wenden Sie sich bitte an: sekretariat.imt@tu-ilmenau.de

Schema der auralisierten Szene mit den einzelnen Lautsprecehrpositionen und dem begehbaren Areal. Lautsprecher S wird nicht verwendet. Zum Vergrößern bitte klicken.

1015 zirkkel one

Im Rahmen einer Projektarbeit konnten wir Mina Lord für unser Audio-AR System begeistern. Mina Lord nutzte das System, um eine begehbare Musikinstallation zu erschaffen. Mit den selbst aufgenommenen Audiosignalen, der eigenen Abmischung und eines eigens für eine Audio-AR Anwendung produzierten Mix konnte eine beeindruckende Demo erstellt werden. Ein virtuelles sechskanaliges Lautsprecher-Setup dient der Wiedergabe von Surround-Objekten und diskreten Objekten. Die begehbare Fläche beträgt 4 m x 4 m. Ein virtuelles Objekt befindet sich in dieser Fläche.  

Einen Stereo-Downmix finden Sie hier:minalord.bandcamp.comsoundcloud.com/lord_mina

Kontakt Mina Lord: post@minalord.berlin

Kontakt TU Ilmenau: Stephan Werner (stephan.werner@tu-ilmenau.de)

Ein begehbarer Raum

Für eine Untersuchung von Methoden zur Synthese von binauralen Raumimpulsanworten (BRIR) auf Basis räumlich dünnbesetzter Messungen wurde realer Raum um zwei virtuelle Audioobjekte angereichert. Der Fokus dieser Arbeit lag auf den Methoden der BRIR-Synthese [1] und deren perzeptiven Qualitätsevaluierung [2].   

 

[1] Füg, S. and Werner, S., “Controlled Auditory Distance Perception using Binaural Headphone Reproduction – Algorithms and Evaluation”, In proceeding of: VDT Int. Convention, 27. Tonmeistertagung, At Cologne, Germany, 11/2012.

[2] Mittag, C., Werner, S., and Klein, F., “Development and Evaluation of Methods for the Synthesis of Binaural Room Impulse Responses based on Spatially Sparse Measurements in Real Rooms”, in Proc. of DAGA 2017, Kiel, Germany, 2017.

pyBinSim

Als Werkzeug und Renderer für unsere Binauralsynthese wurde pyBinSim entwickelt. Es ermöglicht eine Faltung von Audioinhalten mit einer Vielzahl von Filtern, bspw. binaurale Raumimpulsantworten (BRIRs), und integriert ein beliebiges Posen- und Positionstracking.

Die Hauptmotivation für die Entwicklung von pyBinSim war die Notwendigkeit eines einfachen BRIR-Faltungswerkzeugs zur Untersuchung der Hörerbewegung in einem virtuellen akustischen Raum, basierend auf Messungen in realen Räumen. Das Tool ist unabhängig von den verwendeten Trackingsystemen, indem eine OSC-basierte Schnittstelle verwendet wird. Es basiert auf Python und ist daher hoffentlich einfach zu erlernen und sehr flexibel.

Der Quellcode ist unter der MIT license als Open Source auf Github verfügbar:

github.com/pyBinSim/pyBinSim

Weiter Beschreibungen finden sich in: Annika Neidhardt, Florian Klein, Niklas Knoop, and Thomas Köllmer, "Flexible Python tool for dynamic binaural synthesis applications", 142nd Convention of the Audio Engineering Society, Germany, 2017.

Kontakt: Annika Neidhardt (annika.neidhardt@tu-ilmenau.de)