Masterstudiengang Medientechnik

Das Ziel der vorliegenden Arbeit im Rahmen einer Masterarbeit war es, den Einfluss von verschiedenen Mikrofonarrays auf die Coloration und räumliche Audioqualität in einem Binauralsynthesesystem zu untersuchen. Nach der Aufnahme von Raumimpulsantworten mit je einem Kunstkopf-, Motion-Tracked Binaural- sowie Spatial Decomposition Method-Mikrofonarray wurde mit 19 Probanden ein Hörtest durchgeführt. Unter Verwendung des Py Binaural Simulators (PyBinSim) sowie eines Trackingsystems konnte die Binauralsynthese, beruhend auf KEMAR-HRTFs für den KEMAR und das SDM-Array, umgesetzt werden. Die MTB-Signale wurden ohne HRTFs verwendet. Auf dieser Basis wurde ein Colorations- und Lokalisationstest durchgeführt. In den Ergebnissen zeigt sich, dass die untersuchten Mikrofonarrays einen unterschiedlichen Einfluss auf die räumliche Audioqualität haben. In der Gesamtbetrachtung von Signalcoloration sowie Signallokalisation als Teil der räumlichen Audioqualität zeigte sich die geringste Beeinflussung beim KEMAR. Eben dieser ist für die Binauralsynthese angesichts der untersuchten Aspekte am besten geeignet. Die größte Wirkung auf die Auralisation wurde durch das MTB-Array erzeugt. Dieses nimmt einen starken Einfluss auf die Signalcoloration, überzeugt aber bei der Einschätzung der Externalisation. Der Elevationsaspekt stellt sich bei allen Mikrofonarrays als schwierig heraus. Die ermittelten Daten zeigen, dass die auf die horizontale Bewegung des Kopfes begrenzte dynamische Binauralsynthese die Elevation ermöglicht, jedoch nicht herausragend ist.

Die Aufgabe der Erkennung von Schallereignissen (Sound Events Detection, SED) zielt darauf ab, Schallereignisse und ihre zeitliche Position in kontinuierlichen Audiosegmenten vorherzusagen. SED-Algorithmen werden in Anwendungen wie Audio-Tagging, Verkehrsüberwachung, Sicherheitsanwendungen usw. eingesetzt. Datenmangel und die Verschiedenartigkeit der Schallquellen machen die SED-Aufgabe zu einer großen Herausforderung. Auf der Grundlage des von Ding et al. vorgeschlagenen adaptive multiscale sound event detector (AdaMD) wird in dieser Arbeit eine modifizierte Version des Modells (AdaMD-M) untersucht. Dieses Modell verwendet ein neuronales hourglass Netzwerk und Gated Recurrent Unit Module. Darüber hinaus haben wir das AdaMD-M-Modell zur Unterstützung von Klassifizierungsaufgaben modifiziert und ein leichteres SED-Modell für Low-End-Geräte vorgeschlagen. Um das vorgeschlagene Modell mit anderen State-of-the-Art-Modellen (SOTA) zu vergleichen, verwenden wir die Detection and Classification of Acoustic Scenes and Events (DCASE) Herausforderung als Referenz. Wir untersuchten auch zwei Methoden zur Datenerweiterung (DA), d.h. MixUp und Random erase. Für die Bewertung verwendeten wir die F1-Score- und Fehlerraten (ER)-Metriken. Das AdaMD-M Modell zeigt eine geringere ER als die DCASE zweite und dritte rangierten Teilnehmer für DCASE 2016 Task 3 Herausforderung. In DCASE 2017 Task 3 zeigt AdaMD-M eine niedrigere ER als das DCASE-Basismodell bleibt aber knapp hinter den anderen SOTA-Ergebnissen zurück. Wenn AdaMD-M mit Standarddaten trainiert wird, bleibt es in der monophonen SED-Aufgabe deutlich hinter SOTA zurück. Wird jedoch mit einem benutzerdefinierten Datensatz trainiert, verbessern sich die Ergebnisse von AdaMD-M um etwa 50 %. Das Klassifikatormodell liefert einen durchschnittlichen F1-Wert von 0,229 bzw. 0,236 mit und ohne DA. Die leichtere Version des SED-Modells zeigt einen ER von 0,821 und übertrifft damit unsere Erwartungen.

Die Automatisierung von Musikannotationen und ähnlichkeitsbasierte Suchabrufen ist in den letzten Jahren im Zentrum der Musikinformatik-Forschung platziert. Die Entwicklung solcher Systeme ermöglicht die Strukturierung der ständig wachsenden digitalen Sammlungen, sowie die Entwicklung von Anwendungen, die den Benutzern helfen, sich darin zurechtzufinden. Moderne Ansätze verwenden tiefe neuronale Netzwerken: miteinander verbundener Recheneinheiten, die in Schichten organisiert sind, und Architekturen zur hierarchisch Verarbeitung von Daten bilden. Die schichtweise Verarbeitung durch diese Systeme führt zu komprimierten codierten Darstellungen der Eingabedaten, die einen abstrakten latenten Netzwerksraum widerspiegeln, in dem die semantischen Einflussfaktoren des Systems verteilt sind. Gleich wie viele andere Bereiche unserer Welt kann Musik in eine Reihe von semantisch bedeutsamen Variationsfaktoren zerlegt werden. Normalerweise werden diese Faktoren vom Netzwerk ohne Überwachung aus den Eingabedaten abgeleitet, was zu einer geringen Interpretierbarkeit beziehungsweise eine "Black-Box"-Behandlung führt. Aktuelle Repräsentationslernstrategien versuchen, die in tiefen Repräsentationen vorhandenen Variationsfaktoren zu entwirren, und zielen darauf ab, die Leistung modernster Ansätze der künstlichen Intelligenz zu verbessern. In dieser Arbeit wird eine umfangreiche Studie zum Repräsentationslernen vorgestellt, die auf die Entwirrung musikalischer Konzepte fokussiert wird. Dafür wurde einen Tiefenmodell implementiert, das Ähnlichkeiten zwischen Proben innerhalb jedes entwirrten Konzepts lernt. Es wird mit eine Vielfalt von Konfigurationen des implementierten Modells experimentiert, einschließlich einer in dieser Arbeit vorgeschlagenen neuartigen tiefen Architektur, die mehrere Eingabedarstellungen parallel verarbeitet. Um die erzeugten entwirrten Darstellungen zu bewerten, wird ein perzeptueller Musiähnlichkeitsansatz verwendet, wobei gezeigt wird, dass die vorgeschlagene Architektur den Stand der Technik für die Triplett-Vorhersageaufgabe übertrifft. Um den Einfluss jedes entwirrten Konzepts auf die Wahrnehmung von Musikähnlichkeit weiter zu untersuchen, wird eine neuartige multi-dimensionale Analyse vorgestellt. Die Darstellungen werden auch in einem Musikannotationskontext für die "Auto-Tagging"-Aufgabe getestet. Anhand der Ergebnisse werden zukünftige Optimierungs- und Entwicklungsvorschläge präsentiert und diskutiert.

Dank verschiedener Drohnensysteme ist es möglich, komplexe Aufgaben unterschiedlichster Bereiche deutlich zu vereinfachen. Dazu nutzen Drohnen individuell anpassbare Sensoren. Hauptsächlich sind dies Kameras. Akustische Sensoren hingegen sind bisher noch nicht etabliert, obwohl diese vielfältige Anwendungsmöglichkeiten in Kombination mit KI-basierten Algorithmen bieten. Diese Arbeit liefert ein Konzept eines Multikopters zur akustischen Eventdetektion. Hierzu wird in die Grundlagen der Mikrofontechnik sowie in Methoden des maschinellen Lernens eingeführt. Zur Realisierung akustischer Eventdetektion mittels Drohnentechnologie können mehrere Systemkomponenten im Rahmen der Konzeption abgeleitet werden. Neben dem Drohnensystem werden die akustischen Bedingungen zur Mikrofonierung analysiert. Die Implementierung der Eventdetektion beruht auf linearen Support Vector Machines in Verbindung mit OpenL3-Embeddings. Dabei wird ein Datensatz der DCASE2020 Challenge um Regenwald- sowie Drohnengeräusche erweitert. Ein akustischer Sensor an einer Drohne ist zwangsläufig Störeinflüssen wie dem Rotorabstrahl oder den Betriebsgeräuschen ausgesetzt. In diesem Kontext werden diverse Hochpassfilter und die Magnitude Spectral Substraction betrachtet. Obwohl die Verfahren den SNR nur geringfügig verbessern, erweisen sich Hochpassfilter als geeigneter. Zusätzlich wird ein Mikrofongehäuse zur Windabschirmung entworfen und messtechnisch evaluiert. Bei einer nur geringen Abschirmwirkung verschlechtert sich die Richtcharakteristik des Mikrofons merklich. Basierend auf den bisherigen Erkenntnissen werden alle Komponenten in einer prototypischen Umsetzung zusammengeführt. Unter kontrollierten Bedingungen zeigt sich, dass der Klassifikator mit einer höheren Wahrscheinlichkeit einige Klassen korrekt zuordnen kann. Wobei die Berücksichtigung von Drohnengeräuschen bereits im Trainingsdatensatz die Performance verbessert. Hingegen führt die Anwendung der Hochpassfilter zu deutlichen Beeinträchtigungen. Infolgedessen werden diese Filter unter Realbedingungen nicht berücksichtigt. Die Auswertung eines durchgeführten Drohnenflugs gibt Hinweise, dass auch unter realen Voraussetzungen teils ein hoher Recall erreicht wird. Die Ergebnisse der Arbeit sollten weitergehend bei unterschiedlichen Wetterbedingungen und Umgebungsgeräuschen validiert werden. Weiterhin sind Verbesserungen der einzelnen Systemkomponenten für einen zuverlässigen und praktikablen Einsatz erforderlich. Einige Möglichkeiten hierzu werden abschließend präsentiert.

Digitale Hörgeräte verfügen heute über eine Vielzahl an Funktionen, um ihren Trägern das bestmögliche Hörerlebnis in verschiedenen alltäglichen Situationen zu bieten. Dazu gehört auch die Einbindung externer Peripheriegeräte, etwa Smartphones, zur drahtlosen Übertragung von Audioinhalten. Die Akzeptanz dieser Technologie setzt jedoch eine konstante und möglichst fehlerfreie Verbindung voraus. Fehler in der Übertragung oder der Decodierung des Signals beeinträchtigen den potenziellen Mehrwert dieser Funktion. Die vorliegende Arbeit befasst sich mit der Beschreibung und Detektion solcher Streamingartefakte. In einer Reihe von Vortests wurden solche zunächst ausgemacht und klassifiziert. Für den nächsten Schritt wurde ein bestehendes Aufnahmesystem adaptiert, über welches die übertragenen Signale für vier Hörgerätepaare zur gleichen Zeit aufgezeichnet werden können. Die damit erzeugten Aufnahmen, sollten dann auf die nun bekannten Arten von Artefakten untersucht werden. Zu diesem Zweck wurde ein Prüfsystem in den Programmiersprachen Matlab/GNU Octave entwickelt. Dieses ist in der Lage, Artefakte automatisch zu detektieren und zu zählen. Vor dem Hintergrund einer zukünftig geplanten Implementierung in ein eingebettetes System, ist das Programm auf eine ressourcenschonende und echtzeitbasierte Auswertung der Daten ausgelegt. Die Detektion basiert auf einer Betrachtung der Signalenergie und spektralen Eigenschaften. Mit Hinblick auf letztere, konnte eine interessante Entdeckung zum Ursprung der Artefakte gemacht werden. Es hat sich gezeigt, dass diese über den eigentlich übertragenen Frequenzbereich hinausgehen. Somit können diese nicht Teil Übertragung selbst sein, sondern entstehen offenbar bei der Decodierung auf der Empfängerseite. Die Befunde über Art, Häufigkeit und Eigenschaften auftretender Artefakte, werden fortlaufend mit dem Chiphersteller der verwendeten Hörgeräte diskutiert. So können diese bei der Arbeit an zukünftigen Versionen mit berücksichtigt werden.