Masterstudiengang Medientechnik

Das Erkennen von Mustern in Audiosignalen ist ein wichtiges Thema auf dem Gebiet des maschinellen Lernens. Es umfasst eine Vielzahl von Aufgaben, wie z.B. Audio-Tagging, Kategorisierung von akustischen Szenen, Musikklassifizierung Klassifizierung von Sprachemotionen und Erkennung von Klangereignissen. Hierbei ist der Mangel an annotierten Daten ein wesentliches Problem bei der Anwendung von Deep Learning auf die Audiokategorisierung. Eine etablierte Lösung dieses Problems ist die Verwendung von Embeddings. Dabei werden neuronale Netze auf unfangreichen Datensammlungen angelernt und anschließend auf den wenigen, gelabelten Daten des Zielproblem nachtrainiert. Dieses sogenannte Transfer Learning wird oft eingesetzt, um den Trainingsbedarf zu verringern. Bei dieser Methode werden vortrainierte neuronale Netze wie OpenL3 oder PANN für zuvor untrainierte Aufgaben verwendet. Oft sind solche Netze jedoch viel zu komplex, um auf kleinen eingebetteten Systemen mit begrenzter Rechenkapazität eingesetzt zu werden. Aktuelle Arbeiten konzentrieren sich daher auf Methoden zur Komprimierung neuronaler Netze wie etwas Knowledge Distillation zur Erstellung schnellerer Anwendungen mit geringeren Rechenaufwand. Diese Arbeit behandelt die Komprimierung eines bestehenden vortrainierten Netzes, in diesem Fall OpenL3, das tiefe Audio-Einbettungen, sogenannte Embeddings, erzeugt. Durch den Einsatz einer speziellen Form von Knowledge Distillation Techniken und der Reduzierung von Ebenen des OpenL3-Netzes wird ein kleineres und kompakteres Netz destilliert. Die Embeddings des destillierten Netzes werden final anhand verschiedener Audioklassifizierungsaufgaben bewertet und zeigen vergleichbare Ergebnisse zum ursprünglichen OpenL3-Netz bei einer um 66 % reduzierten Gesamtarchitektur und einer um 80 % verminderten Klassifikationszeit.

Jeder Raum hat eine einzigartige akustische Signatur und Charakteristik. Sie spielen eine große Rolle f̈ ur die akustische Wahrnehmung des Zuḧ orers. Das Versẗ andnis der Raumakustik kann dabei helfen, R̈ aume effizient zu gestalten und sie f̈ ur die vorgesehenen Zwecke besser geeignet zu machen. Die akustischen Eigenschaften eines Raums k̈ onnen mit dem Room Impulse Response (RIR) oder Binaural Room Impulse Response (BRIR) gemessen werden und sind f̈ ur verschiedene R̈ aume sowie f̈ ur die Positionen der Lautsprecher und Empf̈ anger einzigartig. Ziel dieser Masterarbeit ist es, mit Hilfe von Deep Learning ein Convolutional Neural Network (CNN)-Modell zu erstellen, um R̈ aume anhand ihrer akustischen Eigenschaften durch BRIR-Aufnahmen zu klassifizieren. Durch Datenerweiterung werden die Eingabedaten auch verwendet, um reale Musik- und Sprachsignale zu emulieren. Solche Musik- und Sprachsignale sowie rein akustische Informationen in Form von Impulsaufzeichnungen werden vom Klassifikator als Eingabe verwendet. Ziel dieser Arbeit ist es auch, die Entscheidungen der CNN-Architektur zu bewerten und die Funktionsweise der CNN zu verstehen. Zu diesem Zweck wird auch Layer-wise Relevance Propagation (LRP) eingesetzt. Das trainierte neuronale Netzwerk zeigt vielversprechende Ergebnisse bei der Klassifizierung von R̈ aumen auf der Grundlage ihrer akustischen Eigenschaften. Es erreicht eine nahezu perfekte Genauigkeit von 99% bei Impulsaufnahmen und 100% bei emulierten Musik-/Sprach-Eingangssignalen nach weniger als 5 Stunden Trainingssitzung. Die Testergebnisse werden in Form einer Konfusionsmatrix visualisiert. Die wenigen ungenauen Klassifizierungen geben einen Einblick in die Denkweise des neuronalen Netzes. Es zeigt sich, dass die Ergebnisse des Klassifikators mit den Ergebnissen anderer Arbeiten̈ ubereinstimmen, die auf der menschlichen Wahrnehmung basieren.

Im Gebiet der Audio-Forensik ist Environment Classification eine Technik, mit deren Hilfe sich die Authentizität und Integrität von Audio-Aufnahmen überprüfen lässt. Hierbei wird versucht, die Räumlichkeit zu identifizieren, in der die Aufnahme entstanden ist. Da Räumlichkeiten über einen charakteristischen Nachhall verfügen und dieser in Audio-Aufnahmen enthalten ist, versuchen die meisten Klassifizierungs Ansätze, den Nachhall zu modellieren und aus ihm gewonnene Merkmale als Kriterien zur Unterscheidung zu verwenden. Diese Arbeit präsentiert einen neuen Algorithmus für Environment Classification von Sprachaufnahmen basierend auf der Berechnung einer Signatur der Aufnahmeräumlichkeit. Hierfür wird die Nachhallzeit (T60) für unterschiedliche Frequenzbänder mithilfe der Schroeder-Methode als Merkmal berechnet. Die eigentliche Klassifizierung erfolgt mithilfe einer Support-Vektor-Maschine (SVM) mit einem radial basis function (RBF) Kernel. Zur Rekonstruktion des für die Berechnung der T60-Werte benötigten Zeitsignals wurden zwei verschiedene Rekonstruktionsansätze evaluiert: Der Griffin-Lim-Algorithmus sowie eine Methode basierend auf inverser Filterung. Darüber hinaus wurden verschiedene Algorithmus-Parameter und der Einfluss unterschiedlicher Aufnahmepositionen auf die Klassifizierungsgenauigkeit untersucht. Für T60-Werte, die über inverse Filterung gewonnen wurden, erreichte der vorgestellte Algorithmus eine Genauigkeit von 94 % bei der Klassifizierung. Bei unterschiedlichen Aufnahmepositionen war eine signifikante Abnahme der Genauigkeit zu beobachten.

Die Nachhallzeit (Reverberation Time, RT60) und das Verhältnis von Direktschall zu Nachhall (Direct to Reverberant Energy Ratio, DRR) werden üblicherweise zur Charakterisierung der akustischen Umgebung eines Raums verwendet. Beide Parameter können aus einer akustischen Impulsantwort (Acoustic Impulse Response, AIR) berechnet werden. Wenn neuronale Netze (Neural Networks, NN) zur Schätzung dieser beiden Parameter verwendet werden, ist jedoch ein umfangreicher realistischer Datensatz erforderlich, dessen Erfassung teuer und zeitaufwändig ist. Um dieses Problem zu lösen, wurden Experimente mit verschiedenen Augmentierungsmethoden durchgeführt, sowohl mit konventioneller Audio-Augmentierung als auch mit speziellen Augmentierungstechniken, die es uns ermöglichen, einen kleinen Datensatz realer akustischer Impulsantworten (Acoustic Impulse Response, AIR) zu erweitern. Eine neue Impulsantwort-Augmentationstechnik wurde auch für die DRR vorgeschlagen. Zunächst wurden die verschiedenen neuronalen Netze mit dem realen Datensatz getestet und dann wurden verschiedene Augmentierungsverfahren eingesetzt. Dabei wurden sowohl die Zeitreihen als auch die Spektrogramme berücksichtigt. Als Bewertungsmaßstab wurde der mittlere quadratische Fehler (Mean Squared Error, MSE) herangezogen. Im Fall von RT60 wurden deutliche Verbesserungen mit den herkömmlichen Techniken beobachtet. Bei DRR hingegen sind Verbesserungen nur mit der speziellen AIR-Augmentationstechnik und einer neu vorgeschlagenen Technik zu beobachten.

Diese Arbeit betrachtet die Entwicklung eines Systems zur automatischen Detektion von Ein- und Aussteckvorgängen von In-Ear-Kopfhörern (IEK). Hierfür wird ein System gesucht, das mit jedem elektrodynamischen IEK kompatibel sein und ohne zusätzliche Sensorik auskommen soll. Das in dieser Arbeit beschriebene System basiert auf der Erkennung und Zuordnung des Spannungssignals, das ein elektrodynamischer IEK induziert, wenn er in ein Ohr oder einen Ohrsimulator ein- oder ausgesteckt wird. Dafür wurde ein Messdatensatz bestehend aus den Spannungssignalen der IEK und den dazugehörigen Annotationen erstellt und zum Training mehrerer Klassifikatoren genutzt. Es konnte gezeigt werden, dass eine Spannungsmessung der IEK während getätigter Interaktionen für eine Klassifikation geeignet ist. Auch konnte gezeigt werden, dass das System zur Klassifikation der Interaktionen imstande ist, wenngleich die Generalisationsfähigkeit verbesserungswürdig ist.