Ein Beitrag zur tonraumbasierten Analyse und Synthese musikalischer Audiosignale, 2011. - Online-Ressource (PDF-Datei: 333 S., 3499 KB) : Ilmenau, Techn. Univ., Diss., 2011
Parallel als Druckausg. erschienen
Das Ziel dieser Arbeit besteht darin, Verbesserungen in der Analyse und Synthese von Audiosignalen durch Anwendung von Tonräumen zu erreichen. Im ersten Teil, der die Kapitel 2 bis 6 enthält und von Gabriel Gatzsche verfasst wurde, erfolgt die mathematisch-geometrische Beschreibung der Tonalität auf verschiedenen hierarchischen Ebenen angelehnt an Fred Lerdahls Tonal Pitch Space, David Gatzsches Kadenzkreis und Elaine Chews Spiral Array (Berechnung von geometrischen Schwerpunkten in Tonraummodellen). Mit Hilfe zweier Formeln, der Symmetriemodell-Generatorformel und dem SYM-Operator, wird es möglich, die Entstehung der wichtigsten Hauptebenen der abendländischen Tonalität aus einer Quintreihe zu beschreiben, verschiedene, auf eine Tonart bezogene Modelle zu erzeugen und auf den jeweiligen Symmetrieton zu zentrieren. Damit gelingt es, eine Vielzahl bereits existierender Modelle zu verbinden und in ein einheitliches als Symmetriemodell bezeichnetes Framework zu integrieren. Um auch reale Musiksignale tonraumbasiert analysieren zu können, wird mit dem Summenvektor im kreisförmigen Tonraum ein Feature-Vektor vorgestellt, der wichtige tonale Eigenschaften eines Musiksignals niedrigdimensional repräsentiert. Dazu gehören z.B. funktionstheoretische Eigenschaften, das Tongeschlecht, Spannungs- und Auflösungsbestreben oder auch harmonische Mehrdeutigkeiten. Weiterhin wird der Tonigkeits-Tonhöhenraum eingeführt, der den unterschiedlichen Oktavlagen von Tonigkeiten geometrische Positionen so zuordnet, dass durch Wahl eines Raumauschnittes gut klingende Akkorde erzeugt und durch Transformation des Raumausschnittes "günstig" ineinander übergeblendet werden können. Dies führt zur Entwicklung eines neuartigen Musikinstrumentes, das als HarmonyPad bezeichnet wird. Dieses erlaubt einem Musiker, direkt mit geometrischen Tonräumen zu interagieren und damit Musiksignale zu erzeugen. Markus Mehnert untersucht im zweiten Teil der Arbeit in den Kapiteln 7 bis 12 die Anwendbarkeit des Symmetriemodells auf konkrete Probleme des Music Information Retrieval (MIR). Hier werden sowohl die Tonart- als auch die Akkorderkennung betrachtet. Im Bereich der Tonarterkennung, die sich derzeit auf die Erkennung von Dur- und Molltonarten beschränkt, wird ein neuer Algorithmus vorgestellt, der auf dem Symmetriemodell basiert. Dieser verbessert den Stand der Technik erheblich. Darüber hinaus wird ein vollkommen neuer Ansatz vorgestellt, der die Tonarterkennung auf die sechs gebräuchlichsten Kirchentonarten erweitert, da diese besser als die reine Erkennung von Dur und Moll geeignet sind, den Charakter eines Musikstückes widerzuspiegeln. Zusätzlich wird ein neues Bewertungsmaß eingeführt, das den Vergleich mit zukünftigen Verfahren ermöglicht. Es wird ein für das MIR neues maschinelles Lernverfahren (HMM/KNN) vorgestellt, das die beiden Verfahren Hidden Markov Models und k Nearest Neighbours verknüpft. Im Bereich der Akkorderkennung werden mit diesem neuen Verfahren bessere Ergebnisse als mit allen vorhergehenden Verfahren erzielt. Dabei zeigt sich auch, dass der Merkmalsvektor des Symmetriemodells in Verbindung mit Akkorderkennung signifikant besser ist als der Chromavektor, der den Stand der Technik repräsentiert.
http://www.db-thueringen.de/servlets/DocumentServlet?id=18765
Interaktive Darstellung von Schatten auf Basis von MPEG-4 Szenenbeschreibungen, 2011. - Online-Ressource (PDF-Datei: 185 S., 23,8 MB) Ilmenau : Techn. Univ., Diss., 2010
In der vorliegenden Arbeit konnte verdeutlicht werden, welche Eigenschaften Schatten haben und aus welchen wahrnehmungspsychologischen Gründen auf deren Verwendung bei interaktiven Darstellungen nicht grundsätzlich verzichtet werden kann. Dabei wurde mit Beispielen belegt, dass Schatten in vielen Fällen zu einer deutlich besseren Wahrnehmung führen. Als ein weiteres Ergebnis dieser Arbeit wurde eine allgemein gültige Methode entwickelt, mit deren Hilfe sich Schattenbeziehungen in Szenengraphen mathematisch ausdrücken lassen. Deren Ergebnis ist die entwickelte Theorie der Schattenrelation. Diese besagt, dass sich mit der Festlegung von Objektbeziehungen zwischen Lichtquellen l, Oberflächen o und Schattenobjekten s in einem Szenengraph als 3-Tupel (l, o, s) eine berechenbare Schattenrelation ergibt. Für die 3-Tupel (l, o, s) einer Schattenrelation wurden Evaluationskriterien definiert und Methoden entwickelt, die es ermöglichen, die Wahrscheinlichkeit der Schattenentstehung durch den Ausschluss von 3-Tupeln zu erhöhen. So lassen sich mit diesen Werkzeugen bereits auf einem sehr niedrigen Abstraktionsniveau Optimierungen durchführen. Der MPEG-4 AFX Standard hat sich für eine normierte Schattenbeschreibung als ein hervorragendes Integrationsumfeld erwiesen. Die MPEG-4 SDL wurde in den Kontext formaler Sprachen eingeordnet. Zur Einbindung der Schattenbeschreibung in die MPEG-4 SDL wurden die bestehenden Randbedingungen untersucht. Mit den vorgestellten mathematischen und sprachlichen Grundlagen wurde eine Syntax und Semantik geschaffen, die sich nahtlos in die existierende SDL eingliedert. Dabei wurden die bestehenden Definitionen weder geändert, noch in irgendeiner Weise negativ beeinflusst. Der Shadow Knoten ermöglicht die Erzeugung von Occludern, Receivern und körperbehafteten Lichtquellen zur Schattendarstellung durch den Autor einer MPEG-4 Szene bei Anwendung der neu entwickelten Schattenbeschreibung. Für die auftretenden Spezialfälle der Semantik wurden attraktive Lösungen gefunden. Trotzdem ist die Schattenbeschreibung für den Autor einer MPEG-4 Szene einfach und flexibel geblieben. Die Anwendung dieser genormten Schattenbeschreibung kann sich positiv auf die Verbreitung des Standards selbst auswirken, da interaktive Darstellungen mit Schatten eine neue Qualität bieten. Die Schattenbeschreibung wurde unabhängig von Berechnungsverfahren definiert. Das hat den Vorteil, dass diese ohne Anpassungsprobleme auf andere szenengraph-basierte 3D-Beschreibungen übertragen werden kann und für künftige Entwicklungen in Hard und Software weit offen ist. Spinnt man den Faden noch weiter, dann kann man feststellen, dass das Prinzip einer Relation auch auf die Beschreibung von Reflexionen übertragen werden könnte, da es sich gleichfalls um Vorgänge handelt, die sich als Objektbeziehungen ausdrücken lassen. Für die Integration in den MPEG-4 AFX Standard müssten dann aber in jedem Fall die dafür bestehenden Randbedingungen erfüllt werden. Auch die Methoden zur Optimierung der dabei verwendeten Tupel würden sich von den hier beschriebenen Verfahren unterscheiden. Die technische Umsetzung der grundlegenden Konzepte konnte erfolgreich durchgeführt werden. Die Darstellung von Schatten im Kontext eines lokalen Beleuchtungsmodells wurde mit der Verwendung von Depth-Shadow Mapping, Per-Pixel Beleuchtung und Per-Pixel Attenuation realisiert. Die exakte Darstellung von diffusen und von spekularen Reflexionen sowie die Verwendung des Wirkungsbereichs von Lichtquellen wurde erreicht. Das entwickelte Multipass-Rendering Verfahren ist in der Lage, die durch den Autor festgelegten Schatteneigenschaften cast und receive für das Depth Shadow Mapping Verfahren zu berücksichtigen. Zum Nachweis der Funktionalität des Attributs penumbra des Shadow Knotens wurde das Verfahren der Jittering Lights mit fünf Samples verwendet. Die damit erreichte Interaktivität war zwar ausreichend, aber nicht wirklich überzeugend. Eine größere Verarbeitungsgeschwindigkeit könnte mit der Single Sample Shadows Methode erreicht werden, da hier nur ein Pass für die Penumbraberechnung ausreicht. Trotzdem wurde die Interaktivität bei moderater Komplexität der Szenen bereits mit gängiger PC-Konsumer-Hardware nachgewiesen. Dazu wurde ein PC mit einer Intel Pentium 4 CPU mit 3.2 GHz und einer GForceFX 5600 Grafikkarte verwendet. Aufgrund der vielen Fragmentoperationen im Texturspeicher hat sich die Bandbreite zur Adressierung des Texturspeichers als ein Schwachpunkt erwiesen. Es ist deshalb darauf zu achten, dass die Grafikkarte zur Adressierung des Texturspeichers möglichst 256 Bit verwendet. Wenn man sich die Frage stellt wo der Trend in der Entwicklung der Grafikhardware für Schattenberechnung hingeht, dann ist denkbar, dass sich spezielle Hardware für interaktives Ray Tracing in den nächsten Jahren durchsetzen kann. Endlich wäre man in der Lage die Attribute für eine physikalisch basierte Lichtausbreitung in die Beschreibung der vorhandenen Tools aufzunehmen. Das Anwendungsfeld für MPEG-4 AFX Szenen bliebe somit nicht nur auf den High-End Bereich beschränkt. Das in dieser Arbeit entwickelte Konzept zur Schattenbeschreibung auf der Basis einer Schattenrelation lässt sich ohne weiteres im Umfeld der zukünftigen Entwicklungen im Bereich des Ray Tracings anwenden. Dabei kann die OpenRT API eine Grundlage zur Implementierung in eine Softwareapplikation bieten. Eine wichtige sprachliche Weiterentwicklung im MPEG-4 Standard ist die derzeit forcierte Standardisierung vieler existierender Knoten in XMT-A und XMT-O. Speziell für die Autorensysteme ist XMT-A und XMT-O im Vergleich zu BIFS, als Austauschformat besser, da es jederzeit für den Autor als Klartext lesbar ist. Die Schattendefinition in Form des Shadow Knotens lässt sich mit nur minimalem Aufwand in XMT integrieren. Wie die Ergebnisse der vorliegenden Arbeit belegen, konnten wichtige noch offene Punkte in der Beschreibung von Schatten mit allgemein gültigen Ansätzen gelöst werden. Die Standardisierung des Shadow Knotens im MPEG-4 AFX Standard ist demnächst abgeschlossen. Mit großer Spannung bleibt abzuwarten, wie stark die Resonanz darauf sein wird.
http://www.db-thueringen.de/servlets/DocumentServlet?id=18671
Crosstalk-canceler for stereophonic setup in real rooms :
Übersprechkompensation stereophoner Anordnungen in realen Räumen. - In: Expertise in audiomedia, (2011), S. 727-732
Die meisten derzeitigen binauralen Wiedergabesysteme werden mit Kopfhörern realisiert. Dabei können aber Phänomene wie eine Im-Kopf-Lokalisation und eine Vorne-Hinten-Konfusion auftreten und der Entfernungseindruck kann verloren gehen. Aus diesen Gründen wurde die Wiedergabe mit Lautsprechern in einer Stereoanordnung untersucht. Das Wiedergabesystem wurde als statisch angenommen, d.h. zusätzlich zur Stereoanordnung sind die Abhörposition und die horizontale und vertikale Ausrichtung des Kopfes bekannt. Bei einer normalen Stereowiedergabe kommt es zu einem Übersprechen zwischen dem linken Lautsprecher und rechten Ohr und umgekehrt. Deshalb wurde ein Übersprechkompensator realisiert und im Wiedergabesystem implementiert. Zusätzlich zur Realisierung der Übersprechkompensation werden die Einflüsse des Mess- und Wiedergaberaumes kompensiert. Um sich von früheren Untersuchungen zu unterscheiden, wird die Wiedergabe nicht unter Freifeld- sondern unter Diffusfeldbedingungen durchgeführt.
Kompensation nicht optimaler Stereoanordnungen für die Wiedergabe von stereophonen/binauralen Signalen :
Compensation of non-optimal stereo setups for the sound reproduction of stereophonic/binaural signals. - In: Expertise in audiomedia, (2011), S. 715-720
If sound reproductions are carried out by only two loudspeakers, the stereophonic experience is limited to a small area. The illusion of an artificial stereo width collapses outside this area so that the correct localisation of a phantom source isn't possible anymore. Hence it is necessary to locate the errors caused by such a non-optimal stereo setup and thereon to develop a system which compensates these errors. In this paper appropriate technologies to adapt the so called sweet spot to the current listener's position are introduced. The designed system is formed by a 2-D vector field including FIR filter technology for equalizing the loudspeaker's transfer function. Finally, the obtained conclusion is evaluated by an analysis based on the results of an accomplished measurement.
Three-dimensional media for mobile devices. - In: Proceedings of the IEEE, ISSN 1558-2256, Bd. 99 (2011), 4, S. 708-741
http://dx.doi.org/10.1109/JPROC.2010.2103290
Toward shaping the learning experience: an experiment on affective mobile learning. - In: Proceedings of the IADIS International Conference Mobile Learning 2010, ISBN 978-972-8924-99-7, (2010), S. 3-10
Interaktiver audiovisueller Demonstrator psychoakustischer Phänomene. - In: Fortschritte der Akustik, (2010), S. 183-184
Simulator sickness - five experiments using autostereoscopic mid-sized or small mobile screens. - In: 3DTV-Conference: The True Vision - Capture, Transmission and Display of 3D Video (3DTV-CON), 2010, ISBN 978-1-4244-6377-0, (2010), insges. 4 S.
http://dx.doi.org/10.1109/3DTV.2010.5506401
Sharp, bright, three-dimensional: open profiling of quality for mobile 3DTV coding methods. - In: Multimedia on mobile devices 2010, ISBN 978-0-8194-7935-8, 2010, 75420T, insges. 12 S.
Open profiling of quality: a mixed method approach to understanding multimodal quality perception. - In: Advances in multimedia, ISSN 1687-5699, 2010, Article ID 658980, insges. 28 S.
http://dx.doi.org/10.1155/2010/658980