Investigation of the audio latency in the environment of an auditory augmented reality. - Ilmenau. - 65 Seiten
Technische Universität Ilmenau, Masterarbeit 2021
Audio kann über die Qualität Ihres Videos entscheiden. Um eine perfekte Illusion zu schaffen, ist es wichtig, dem Benutzer ein immersives Erlebnis zu bieten. Für Anwendungen, wie Virtual Reality (VR) und Augmented Reality (AR) ist eine natürliche und plausible Nachbildung der auditiven Umgebung erforderlich. Mit Hilfe der Hilfe der binauralen Synthese ist es möglich, eine realitätsnahe Audiowiedergabe zu erzeugen. Ein wichtiger Indikator für die Qualität auditiver AR Anwendungen ist die Latenz zwischen Bewegung und Anpassung der Audiowiedergabe. Hohe Verzögerungen können die Interaktivität einschränken und die wahrgenommene Qualität mindern. Im Allgemeinen tragen mehrere Komponenten wie Bewegungs-Tracker, binaurale Filter, Datenübertragung, Audiotreiber, Audiosignalverarbeitung sowie die Interaktionen der Komponenten untereinander zur Systemlatenz bei. Es ist daher wichtig, die Latenz sorgfältig zu definieren und zu messen. Diese Arbeit untersuchte die grundlegenden Ursachen für die Latenz und die damit verbundenen Systemkomponenten. Es wurden Aufbauten und Methoden zur Bestimmung der gesamten Systemlatenz untersucht, um die Zusammenhänge und Einfluss der einzelnen Komponenten zu verstehen. Die Ergebnisse werden durch Simulationen und experimentelle Tests validiert. Konkret wurden In dieser Arbeit drei Messmethoden realisiert, bei denen eine minimale Gesamtsystemlatenz zwischen 60 ms und 72 ms gefunden wurden. Damit lagen die gemessen werde unterhalb des für diese Arbeit betrachteten Schwellenwerts von 100 ms. Die Auswahl der Setups und ihre Vor- und Nachteile werden in dieser Arbeit diskutiert, einschließlich möglicher Verbesserungen.
Quick online-adaptation of the late reverberation of a binaural reproduction to the real room. - Ilmenau. - 38 Seiten
Technische Universität Ilmenau, Masterarbeit 2020
Auditory Augmented Reality zielt darauf ab, der realen akustischen Umgebung virtuelle akustische Elemente hinzuzufügen. Um einen plausiblen Effekt zu erzielen, sollten die akustischen Eigenschaften der reproduzierten Medien mit denen der Umgebung oder der Zielumgebung übereinstimmen. Eine der wichtigsten akustischen Eigenschaften, die einen Raum am besten darstellen, ist das Direkt-Nachhall-Verhältnis (DRR). Eine akustische Integration durch eine geeignete Anpassung der raumakustischen Eigenschaften, um eine Wahrnehmungsübereinstimmung zu erzeugen. Ein wesentliches Element ist der späte Nachhall, der zwischen verschiedenen Räumen variiert, jedoch nur geringe Schwankungen zwischen verschiedenen Positionen innerhalb eines Raums aufweist. Die Ergebnisse früherer Studien zeigen, dass die Zuhörer eine geringe Empfindlichkeit hinsichtlich der feinen räumlichen und zeitlichen Struktur des späten Nachhalls haben. Das Ziel dieser Arbeit ist es, die Idee der parametrischen Synthese zu untersuchen, die auf Echtzeit-DRR-Anpassungen der Reproduktion basiert. Ein Prototyp muss implementiert werden, um eine psychoakustische Bewertung des erstellten Systems durchzuführen und die Grenzen einer solchen Methode besser zu verstehen. Eine angemessene Testmethode muss entworfen werden.
Derive conditions for a plausible auditory illusion in binaural reproduction over near field loudspeakers. - Ilmenau. - 104 Seiten
Technische Universität Ilmenau, Masterarbeit 2020
Binaurale Reproduktion bezieht sich auf die Wiedergabe des Klangs, wie er in einem realen Szenario erlebt wird. Mit der Einführung von Augmented Reality (AR)-Anwendungen ist die binaurale Reproduktion zu einem Hauptschwerpunkt der Forscher geworden. Lautsprecher und Kopfhörer werden verwendet, um solche Töne zu simulieren. Ein neuer Prototyp von Nahkopflautsprechern wurde im Akustiklabor in Böblingen bei der Mercedes-Benz AG im Rahmen des Projekts Private Audio Lounge entwickelt. Um binaurale Audiosignale über Kopfhörern wiederzugeben, ist es notwendig, das durch den kontralateralen Lautsprecher verursachte Übersprechen zu unterdrücken. Diese Arbeit betrachtet verschiedene Implementierungen zur Kompensation der akustischen Übertragungsfunktion eines Nahkopflautsprechersystems. Die Implementierung der binauralen Wiedergabe nutzt die Echtzeit-Faltung von direktionalen Head-Related Transfer Functions (HRTFs), die in realen Raumszenarien aufgezeichnet wurden, mit dem Audiosignal. Dies wird in Python unter Verwendung der an der TU Ilmenau entwickelten pyBinSim-Umgebung durchgeführt. Der Kopf wird kontinuierlich mit einem Head Tracker verfolgt und Richtungsfilter werden entsprechend der Orientierung des Zuhörers angewendet. Um den akustischen Effekt der Hörumgebung wie Nachhall und Frequenzkorrektur auszugleichen, wurden außerdem Minimal-Phasenumkehrfilter entwickelt, die die in der akustischen Kabine im Akustiklabor aufgenommenen HRTFs verwenden. Eine Implementierung von Stereo-zu-5.1-Kanal-Up-Mixing-Techniken wurden ebenfalls in Betracht gezogen, da das Ziel der Arbeit die Externalisierung des Klangs und die Verbesserung der Klangqualität des Lautsprecheraufbaus ist. Anschließend wurde ein DSP-Design mit Audio Weaver durchgeführt, um das System in einer Fahrzeugkabine einzurichten. Schließlich wurde eine Wahrnehmungsevaluierung durchgeführt, um das während der Masterarbeit implementierte System zu bewerten und zu validieren.
Automatische Zuordnung ähnlich wahrgenommener Räume. - Ilmenau. - 80 Seiten
Technische Universität Ilmenau, Masterarbeit 2020
Augmented Acoustics Environments (AAEs) erfordern die akustische Anpassung virtueller Schallquellen an den realen Wiedergaberaum. Raumakustische Merkmale, die eine ausreichende Anpassung kennzeichnen, sind noch nicht genügend erforscht. Einige Studien zeigten bereits, dass keine exakte physikalische Anpassung erforderlich ist, jedoch einige Parameter kritischer sind als andere. In dieser Abschlussarbeit wird eine Gegenüberstellung der physikalischen und perzeptiven Ähnlichkeit verschiedener Raumakustiken mit Hilfe von gemessenen binauralen Raumimpulsantworten implementiert. Dafür wird ein Datensatz aus gemessenen binauralen Raumimpulsantworten von verschiedenen Raumarten und Quell- und Abhörpositionen zusammengestellt. Für die Bestimmung der physikalischen Ähnlichkeit werden raumakustische Parameter berechnet und mit den Ergebnissen eines Hörversuchs, in denen Probanden verschiedene wahrgenommene Attribute bewerten sollten, verglichen. Dafür wird der Knowledge Discovery in Databases-Prozess angewandt. Über verschiedene Methoden können gezielt Beziehungen zwischen den beiden Datensätzen bestimmt und somit wichtige raumakustische Merkmale identifiziert werden. Mit den gewonnenen Informationen kann in der Abschlussarbeit ein erster Versuch einer automatisierten Gruppierung der Räume implementiert werden.
Multitask learning for beat detection and chord recognition in music. - Ilmenau. - 87 Seiten
Technische Universität Ilmenau, Masterarbeit 2020
In dieser Arbeit schlugen wir ein Multitasking-System für Rhythmus (Downbeat und Beat) und Harmonie vor. Wir führten Multitasking-Lernen durch, indem wir gemeinsam drei verschiedene Aufgaben in verschiedenen Kombinationen modellierten: Beat-Tracking, Downbeat-Tracking und Akkordschätzung. Jede dieser Aufgaben umfasst einen zweistufigen Prozess. Zunächst ein prädiktives Modell auf Rahmenebene, das als akustische Modellierung bezeichnet wird. Zweitens, eine zeitliche Modellierung, bei der die Vorhersage auf Rahmenebene durch Ableitung zeitlicher Abhängigkeiten zusammengeführt wird. Für die akustische Modellierung verwenden wir eine Kombination aus neuronalen Faltungsnetzen und zeitlichen Faltungsnetzen. Darüber hinaus verwenden wir eine tempoinformierte Peak-Picking-Methode und einen dynamischen Programmieransatz, um die optimalen Downbeat-Beat-Positionen für die zeitliche Modellierung zu finden. Für die Evaluierung der von uns vorgeschlagenen Multitasking-Methode benötigen wir zwei Referenzmodelle. Erstens benötigen wir eine häufig verwendete Referenzsystemimplementierung aus der Madmom-Python-Bibliothek. Zweitens implementieren wir aufgrund der unterschiedlichen methodischen Vorgehensweise auch die von Davis et al. vorgeschlagene Methode für das Beat-Tracking neu und erweitern sie dann auf eine Downbeat-Tracking-Aufgabe. Wir verwenden das von Nadar et al. vorgeschlagene Modell für die Akkordschätzungsaufgabe als ein Ein-Task-System. Wir verwenden diese oben erwähnten Single-Task-Systeme als unser Referenzsystem für die Bewertung gegenüber unserem Multitask-System. Für die vergleichende Evaluation gemeinsame Modellierung der verschiedenen Aufgaben in allen möglichen Kombinationen. Darüber hinaus führen wir genreübergreifende Analysen zu Pop, Jazz und klassischen Genres durch. Schließlich evaluieren wir die Leistung unseres Rhythmusmodells auf der Grundlage des Kontinuitätsmaßes, um die Bedeutung der zeitlichen Modellierung hervorzuheben (Rhythmus-Inferenz-Stadium). Für unser Multitasking-System wurden mehrere Experimente durchgeführt. Die Ergebnisse zeigen, dass das Multitasking-System eine vergleichbare Leistung mit Variationen über verschiedene Datensätze hinweg aufweist. Bei der vergleichenden Auswertung der gemeinsamen Modellierung der verschiedenen Aufgaben stellen wir fest, dass die gemeinsame Modellierung von Akkord- und Downbeat-Aufgaben über verschiedene Datensätze hinweg eine konsistente Verbesserung sowohl für Akkord- als auch für Downbeat-Aufgaben gezeigt hat. In ähnlicher Weise zeigt die gemeinsame Modellierung von Akkord- und Downbeat-Aufgaben bei der genreübergreifenden Analyse Verbesserungen in den Genres Jazz und Klassik. Schließlich zeigt die auf Kontinuität basierende Auswertung eines Downbeat-Trackings die Einschränkung unserer Pick-Picking-Methode und des Downbeat-Trackings durch einen dynamischen Programmieransatz. Aus unserer Studie schließen wir daher, dass die gemeinsame Modellierung von Akkord und Downbeat am vorteilhaftesten ist. Auch das akustische Modell zeigt für alle Aufgaben eine vergleichbare Leistung mit den Single-Task- und Referenzsystemen. In der Zwischenzeit müssen weitere Forschungen zur zeitlichen Modellierung in Betracht gezogen werden.
Multiphysikalische Modellierung von elektrodynamischen Lautsprechern. - Ilmenau. - 115 Seiten
Technische Universität Ilmenau, Masterarbeit 2020
In der vorliegenden Arbeit werden zwei methodische Ansätze für die multiphysikalische Simulation von elektrodynamischen Lautsprechern untersucht. Basierend auf diesen Ansätzen werden zwei Simulationsmodelle mit Hilfe der Simulationssoftware Comsol Multiphysics für zwei verschiedene Untersuchungslautsprecher definiert. Ziel ist es das elektrische, das mechanische und das daraus resultierende akustische Verhalten eines Lautsprechers möglichst realitätsgetreu nachzubilden. Für die Definition der beiden Simulationsmodelle wird jeweils eine Kopplung aus Schaltungssimulation und numerischer Simulation mittels Finiter Elemente Methode (FEM) verwendet. Für eine Validierung der Simulationsergebnisse wird eine elektrische und eine akustische Vermessung der Untersuchungslautsprecher vorgenommen. Gleichzeitig dienen die elektrischen Messdaten als Datengrundlage für die Beschreibung der verwendeten Ersatzschaltbilder. Materialkennwerte zur Simulation einzelner Lautsprecherkomponenten werden, in einer in dieser Arbeit beschriebenen Vorgehensweise, angepasst, um Abweichungen zwischen Mess- und Simulationsergebnissen zu minimieren. Ein direkter Vergleich von Ergebnissen aus Simulation und Messung zeigt, inwieweit die Simulationsmodelle valide Ergebnisse gegenüber der Messung liefern. Durch eine Betrachtung des Simulationsaufwandes in Form von Komplexität der Simulationsmodelle, Berechnungsaufwand und benötigte Datengrundlage können beide Modelle verschiedenen Anwendungsgebieten zur weiteren Verwendung zugeordnet werden. Die Ergebnisse zeigen weiterhin, dass bereits mit einer geringen Datengrundlage und einem geringen Simulationsaufwand sehr valide Simulationsergebnisse für tiefe Frequenzen erzielt werden können, für hohe Frequenzen jedoch eine bessere Datengrundlage und komplexere Simulationsmodelle unumgänglich sind.
Investigation of the audio transmission latency in the environment of an auditory augmented reality. - Ilmenau. - 45 Seiten
Technische Universität Ilmenau, Masterarbeit 2020
Das Hauptziel von Augmented Reality (AR) besteht darin, die physische und die virtuelle Umgebung in einem gemeinsamen Raum zusammenzuführen. Um diese Illusion aufrechtzuerhalten, ist eine zeitliche Konstanz erforderlich, obwohl sich die Position des Hörers und die Ausrichtung des Kopfes ändern. Der Grund für Fehler ist die Latenz, das heißt die Verzögerung zwischen der Änderung der Position des Hörers und der Änderung der Audioantwort, die die zeitliche Konsistenz bricht. Bei Kopfhörern mit Tracking-Sensoren wird in der Regel auf die zeitliche Konsistenz geachtet. In der vorliegenden Masterarbeit werden verschiedene Methoden, Implementierungen und Aufbauumgebungen vorgestellt, um die AudioLatenz durch Auditory Augmented Reality (AAR) zu messen. Die Simulation erfolgt in zwei Segmenten, Rendering und Übertragung. Der Rendering-Teil wird mit einer Python-basierten Anwendung ausgeführt, der PyBinSim und die Übertragung wird mit dem MATLAB-Simulator ausgeführt. Der Rendervorgang hängt von der Größe des Audiopakets und der Systemverarbeitungsfähigkeit ab. Die Ergebnisse zeigen, dass es bevorzugt wird, kleine Audiopakete mit ultraschnellen Prozessoren zu verwenden, um das Rendern in Echtzeit durchzuführen. Zusätzliche Verzögerung wird durch verwendete Übertragungsmedien eingeführt. Audiokabel und Bluetooth (BT) -Technologie sorgen für eine qualitative hochwertige Audioübertragung. Der Effekt der Latenz bei der Verwendung von Audiokabeln ist im Vergleich zu drahtlosen Technologien viel geringer. Dies liegt daran, dass drahtlose Technologien einige zusätzliche Prozesse zur Übertragung von Audiodaten ausführen. Außerdem wird bemerkt, dass die BT-Latenz auch aufgrund von Hardwareeinschränkungen beeinträchtigt wird. Die Ergebnisse zeigen, dass die Gesamtlatenz durch AAR von einer Reihe von Faktoren abhängt, wie z. B. der Puffergröße, der Systemverarbeitungsfähigkeit und der Kompatibilität der Audiotreiber und der Übertragungsmedien. Grundsätzlich funktioniert die vorgeschlagene Methode mit einigen Einschränkungen der BT-Hardware angemessen. Diese Arbeit kann weiter verbessert werden, indem die neueste Hardware verwendet wird, die die neueste Version von BT unterstützt und damit arbeitet.
Gegenüberstellung verschiedener Algorithmen zur Erzeugung einer positionsdynamischen Binauralauralisation aus stark reduzierten Messdaten. - Ilmenau. - 52 Seiten
Technische Universität Ilmenau, Masterarbeit 2019
Mit Hilfe von Binauralsynthese ist es möglich, eine gemessene Hörumgebung mit guter Genauigkeit kopfhörerbasiert und in Echtzeit zu simulieren. Es existieren diverse Modelle, um die Ausbreitung von Schall in einem Raum zu simulieren. Dennoch ermöglichen Messungen, die mit Hilfe eines Kunstkopfes erfasst wurden, nach wie vor die präziseste Auralisation einer Hörumgebung. Um eine positionsdynamische Erkundung dieser Szene zu realisieren, ist eine hohe Anzahl der aufwändigen Messungen nötig, was für reale Anwendungen selten tragbar ist. Es ist folglich von größtem Interesse, die nötige Messdatendichte zu reduzieren. Das Ziel dieser Arbeit ist es deshalb geeignete Algorithmen zur Auralisation einer Hörumgebung, aus stark reduzierten Messdaten, zu erforschen. Hierzu werden zunächst existierende Interpolationsalgorithmen verglichen und Anforderungen aus einer psychoakustischen Betrachtung des Problems abgeleitet. Anschließend wird ein eigenes System auf Basis von fünf austauschbaren Algorithmen entwickelt. Diese fünf Iterationen werden technisch auf ihr Vermögen geprüft, die frühen Reflexionen der realen Messdaten zu reproduzieren. Hierbei übertrifft keiner der getesteten Algorithmen messbar eine simple, lineare Interpolation. Die Messposition der Ausgangsdaten erweist sich als dominanter Einflussfaktor auf die Qualität der Approximation. Ein abschließender Hörtest erforscht die Konsequenzen der physikalischen Unterschiede der synthetisierten BRIRs auf die auditive Wahrnehmung. Es wird gezeigt, dass die Richtung der Schallquelle noch mit vergleichbarer Genauigkeit geortet werden kann, wenn Direktschall und frühe Reflexionen interpoliert werden. Alle Probanden empfanden die Szenen, deren frühe Reflexionen mittels linearer Interpolation im Zeit- oder Frequenzbereich berechnet wurden, als plausibel.
Perception of simplification of the room acoustics in dynamic binaural synthesis for listener translation. - Ilmenau. - 75 Seiten
Technische Universität Ilmenau, Masterarbeit 2019
Die positionsdynamische binaurale Synthese kann verwendet werden, um virtuelle Audioobjekte in auditorischen Augmented-Reality-Szenarien plausibel zu auralisieren. Es ermöglicht dem Zuhörer, einen Raum zu Fuß zu erkunden. Die binauralen Raumimpulsantworten (BRIRs) des Hörbereichs werden für verschiedene Kopfausrichtungen an mehreren Positionen des Hörbereichs benötigt. Frühere Studien zur positionsdynamischen binauralen Synthese untersuchten eine systematische Vereinfachung der Daten zur Erstellung von BRIRs einer Linie in einem trockenen Raum, mit dem Ziel, den Messaufwand zu reduzieren und gleichzeitig die Menge der Datensätze zu reduzieren. Die BRIRs der gewünschten Positionen auf der Linie wurden durch Manipulation einiger Parameter synthetisiert, die sich auf die Akustik des Raumes und die Empfindlichkeit des menschlichen Hörsystems für die Übersetzung durch den Hörer beziehen. Einige Qualitätsmerkmale wie Externalisierung, Eindruck des Gehens zur Schallquelle und Plausibilität virtueller Schallquellen wurden in binauralen Hörtests untersucht. Da das Niveau des Nachhalles im Labor in der vorangegangenen Studie gering war, konnte das Ergebnis des Hörerlebnisses den Einfluss der Reflexionsmuster nicht finden. Allerdings führte die Beseitigung des Nachhallens zu einer schlechteren Plausibilität. Diese Arbeit untersucht die mögliche Manipulation von Parametern in Bezug auf die Messdaten eines halligeren Raumes. Die Wirkung des Nachhallens in einem positionsdynamischen binauralen Synthesesystem wird untersucht, basierend auf psychoakustischen Überlegungen zur Lokalisierung und Externalisierung in einem halligeren Raum. Neun Filtersätze werden mit drei Manipulationsalgorithmen erzeugt, um die Auswirkungen der Parametrisierung in Signalen mit mehr Reflexionsenergie zu untersuchen. In einem Hörtest werden die resultierenden BRIR-Sätze verschiedener Algorithmen ausgewertet. Die Ergebnisse deuten darauf hin, dass die Anwendung eines konstanten Reflexionsmusters auf alle Positionen keine Veränderung der Plausibilität und Externalität ergibt als der ursprüngliche Messdatensatz. Nämlich, die Energie des Nachhall-Musters in BRIRs der Referenzposition und des Manipulationsalgorithmus beeinflussen die Plausiibilität und Externalität. Filtersätze mit einem konstanten Reflexionsmuster mit höherer Energie im Vergleich zu anderen Positionen der Leitung werden im Prüfraum authentischer wahrgenommen als solche mit unveränderlichem Hallmuster mit geringerer Energie.
Evaluating plausibility of interactive virtual acoustic environments for headphone reproduction. - Ilmenau. - 141 Seiten
Technische Universität Ilmenau, Masterarbeit 2019
IIn der vorliegenden Arbeit wird ein neuartiges Verfahren vorgeschlagen, um die Plausibilität einer interaktiven virtuellen akustischen Umgebung für die Wiedergabe von Kopfhörern auszuwerten. Die bestehenden Verfahren in der Literatur berücksichtigen oft nicht die Erwartungen des Hörenden und ihre früheren Erfahrungen. Diejenigen, die dies tun, unterliegen Nachteile, wie Mehrdeutigkeit, Unklarheit und Fehlinterpretation. Dies kann das Ergebnis der Verwendung von Vokabeln sein, die im Wesentlichen nicht was mit Plausibilität gemeint ist. Außerdem scheint entweder die Verwendung von vordefinierten akustischen Eigenschaften oder ja/nein-Paradigmen, nicht vielversprechende Methoden zu sein. In dieser Arbeit wird ein Hörtest durchgeführt, bei dem die Erwartungen des Hörenden erfasst werden, bevor der Test beginnt. Alle Szenen und Testversuche werden dann von den Zuhörern beurteilt und auf Grund ihrer initial aufgezeichneten Erwartungen bewertet. Inzwischen wird die Dauerhaftigkeit der Erwartungen während des Tests beobachtet. Die Ergebnisse zeigen, dass das Lenken der Aufmerksamkeit der Teilnehmer auf ihre Erwartungen und inneren Referenzen auch für dieselben Szenarien zu einer gleichgültigen Plausibilitätsbeurteilung fuhren kann. Des Weiteren wird es beobachtet, dass Menschen trotz ihrer fehlerhaften Erwartungen, ihre Erwartungen festhalten wollen. Schließlich kann man sagen, dass diese Studie nachweisen kann, warum Ja / Nein-Test oder ein vordefinierter Merkmalstest keine geeigneten Verfahren zur Bewertung Plausibilität sind. Darüber hinaus kann diese Arbeit ein Sprung als die geeigneten Methoden zur Beurteilung der Plausibilität sein.