Publikationen

Communication technologies play an important role in maintaining the grandparent-grandchild (GP-GC) relationship. Based on Media Richness Theory, this study investigates the frequency of use (RQ1) and perceived quality (RQ2) of established media as well as the potential use of selected innovative media (RQ3) in GP-GC relationships with a particular focus on digital media. A cross-sectional online survey and vignette experiment were conducted in February 2021 among N = 286 university students in Germany (mean age 23 years, 57% female) who reported on the direct and mediated communication with their grandparents. In addition to face-to-face interactions, non-digital and digital established media (such as telephone, texting, video conferencing) and innovative digital media, namely augmented reality (AR)-based and social robot-based communication technologies, were covered. Face-to-face and phone communication occurred most frequently in GP-GC relationships: 85% of participants reported them taking place at least a few times per year (RQ1). Non-digital established media were associated with higher perceived communication quality than digital established media (RQ2). Innovative digital media received less favorable quality evaluations than established media. Participants expressed doubts regarding the technology competence of their grandparents, but still met innovative media with high expectations regarding improved communication quality (RQ3). Richer media, such as video conferencing or AR, do not automatically lead to better perceived communication quality, while leaner media, such as letters or text messages, can provide rich communication experiences. More research is needed to fully understand and systematically improve the utility, usability, and joy of use of different digital communication technologies employed in GP-GC relationships.

In order to successfully fuse virtual sound sources with the real acoustic environment, the acoustic properties of the real environment must be estimated and utilized for the synthesis of virtual sound sources. Often, just noticeable differences (JNDs) of room acoustic parameters are utilized to predict a good match between virtual and real acoustics. However, several studies in this domain have shown that existing JND values of room acoustic parameters are often not able to predict the perception of the listeners. This can have various reasons: Differences in first reflection patterns are barely measurable with classical acoustic parameters; Even if acoustic differences are above the JND, a plausible reproduction might still be possible; JNDs depend on various factors (such as sound signal, etc.) and existing studies do not cover all of them. The last factor is addressed in this research paper. A three-alternative forced (3AFC) choice test was conducted at four different loudness levels (75 dB(A), 65 dB(A), 55 dB(A), and 45 dB(A)) in a reverberation time range from 0.5 s to 0.8 s. A dependency of the loudness on the detectability of reverberation differences was found for the randomly interleaved presentation of loudness levels but not for sequential presentation. Individual hearing thresholds as well as expertise level significantly influence the JND of reverberation time.

In an aging society, the social needs of older adults, such as regular interactions and independent living, are crucial for their quality of life. However, due to spatial separation from their family and friends, it is difficult to maintain social relationships. Our multidisciplinary project, CO-HUMANICS, aims to meet these needs, even over long distances, through the utilization of innovative technologies, including a robot-based system. This paper presents the first prototype of our system, designed to connect family members or friends virtually present through a mobile robot with an older adult. The system incorporates bi-directional video telephony, remote control capabilities, and enhanced visualization methods. A comparison is made with other state-of-the-art robotic approaches, focusing on remote control capabilities. We provide details about the hard- and software components, e.g., a projector-based pointing unit for collaborative telepresence to assist in everyday tasks. Our comprehensive scene representation is discussed, which utilizes 3D NDT maps, enabling advanced remote navigation features, such as autonomously driving to a specific object. Finally, insights about past and concepts for future evaluation are provided to assess the developed system.

Binaural synthesis systems can create virtual sound sources that are indistinguishable from reality. In Augmented Reality (AR) applications, virtual sound sources need to blend in with the real environment to create plausible illusions. However, in some scenarios, it may be desirable to enhance the natural acoustic properties of the virtual content to improve speech intelligibility, alleviate listener fatigue, or achieve a specific artistic effect. Previous research has shown that deviating from the original room acoustics can degrade the quality of the auditory illusion, often referred to as the room divergence effect. This study investigates whether it is possible to modify the auditory aesthetics of a room environment without compromising the plausibility of a sound event in AR. To accomplish this, the length of the reverberation tails of measured binaural room impulse responses are modified after the mixing time to change reverberance.A listening test was conducted to evaluate the externalization and audio-visual plausibility of an exemplary AR scene for different degrees of reverberation modification. The results indicate that externalization is unaffected even with extreme modifications (such as a stretch ratio of 1.8). However, audio-visual plausibility is only maintained for moderate modifications (such as stretch ratios of 0.8 and 1.2).

In the field of Auditory Augmented Reality (AAR), one aim is to provide a listening experience that is as close as possible to a real scenario. Measured Spatial Room Impulse Responses (SRIRs) describe the acoustics of a room and can serve as a reference for acoustic simulations or parametrization of room acoustics. In previous works, a measurement system for SRIRs using a mobile robotic platform was introduced. The system consists of a commercially available self-driving platform on which a microphone array is mounted, while the sound sources are distributed at fixed positions in the room. The system is able to conduct high spatial resolution measurements of SRIRs in a uniform grid. In applications where time is limited and/or the area to discover is large, however, a high-resolution measurement is not always feasible.Therefore, the goal of this contribution is to compare different approaches for optimizing the measurement grid. One approach is to use mathematical optimization on acoustic parameters derived from a small set of initial measurements to determine new measurement positions in a iterative manner. Another approach is to optimize the measurement grid in respect to human auditory perception, incorporating e.g. just-noticeable differences of distance and localization perception.The results show that both approaches can achieve significant reductions in the number of measurements required for a adequate acoustic spatial reproduction, with different trade-offs depending on the application scenario and the available prior information.

Diese Doktorarbeit untersucht die Wahrnehmung vereinfachter akustischer Raumrepräsentationen in positionsdynamischer Binauralwiedergabe für die Hörertranslation. Die dynamische Binauralsynthese ist eine Audiowiedergabemethode zur Erzeugung räumlicher auditiver Illusionen über Kopfhörer für virtuelle, erweiterte und gemischte Realität (VR/AR/MR). Dabei ist es nun eine typische Anforderung, immersive Inhalte in sechs Freiheitsgraden (6DOF) zu erkunden. Dynamische binaurale Schallfeldimitationen mit hoher physikalischer Genauigkeit zu realisieren, ist meist mit sehr hohem Rechenaufwand verbunden. Frühere psychoakustische Studien weisen jedoch darauf hin, dass Menschen eine begrenzte Empfindlichkeit gegenüber den Details des Schallfelds haben, insbesondere im späten Nachhall. Dies birgt das Potential physikalischer Vereinfachungen bei der positionsdynamischen Auralisation von Räumen. Beispielsweise wurden Konzepte vorgeschlagen, die auf der perzeptiven Mixing Time oder der Hörbarkeitsschwelle von frühen Reflexionen basieren, für welche jedoch eine gründliche psychoakustische Bewertung noch aussteht. Zunächst wurde ein Aufbau zur positionsdynamischen Raumauralisation implementiert und evaluiert. Daran untersucht die Arbeit wesentliche Systemparameter wie die erforderliche räumliche Auflösung eines Positionsrasters für die dynamische Anpassung. Da allgemein etablierte Testmethoden zur wahrnehmungsbezogenen Bewertung von räumlichen auditiven Illusionen unter Berücksichtigung interaktiver Hörertranslation fehlten, untersucht die Arbeit verschiedene Ansätze zur Messung der Plausibilität. Auf dieser Grundlage werden physikalische Vereinfachungen im Verlauf des Schallfeldes in positionsdynamischen binauralen Auralisationen der Raumakustik untersucht. Für die Hauptexperimente wurden binaurale Raumimpulsantworten (BRIRs) entlang einer Linie für die Hörertranslation in einem eher trockenen Hörlabor und einem halligen Seminarraum ähnlicher Größe gemessen. Die erstellten Datensätze enthalten Szenarien von Hörerbewegungen auf eine virtuelle Schallquelle zu, daran vorbei, davon weg oder dahinter. Darüber hinaus betrachten die Untersuchungen zwei Extremfälle der Quellenorientierung, um die Auswirkungen einer Variation der Schallquellenrichtcharakteristik zu berücksichtigen. Die BRIR-Sätze werden systematisch bearbeitet und vereinfacht, um die Auswirkungen auf die Wahrnehmung zu bewerten. Insbesondere das Konzept der perzeptiven Mixing Time und manipulierte räumlich-zeitliche Muster früher Reflexionen dienten als Testfälle in den psychoakustischen Studien. Die Ergebnisse zeigen ein hohes Potential für Vereinfachungen, unterstreichen aber auch die Relevanz der genauen Imitation prominenter früher Reflexionen. Die Ergebnisse bestätigen auch das Konzept der wahrnehmungsbezogenen Mixing Time für die betrachteten Fälle der positionsdynamischen binauralen Wiedergabe. Die Beobachtungen verdeutlichen, dass gängige Testszenarien für Auralisierungen, Interpolation und Extrapolation nicht kritisch genug sind, um allgemeine Schlussfolgerungen über die Eignung der getesteten Rendering-Ansätze zu ziehen. Die Arbeit zeigt Lösungsansätze auf.

A frequent problem when dealing with audio classification tasks is the scarcity of suitable training data. This work investigates ways of mitigating this problem by applying transfer learning techniques to neural network architectures for several classification tasks from the field of Music Information Retrieval (MIR). First, three state-of-the-art architectures are trained and evaluated with several datasets for the task of speech/music classification. Second, feature representations or embeddings are extracted from the trained networks to classify new tasks with unseen data. The effect of pre-training with respect to the similarity of the source and target tasks are investigated in the context of transfer learning, as well as different fine-tuning strategies.

This paper presents a dataset of spatial room impulse responses (SRIRs) and 360˚ stereoscopic video captures of a variable acoustics laboratory. A total of 34 source positions are measured with 8 different acoustic panel configurations, resulting in a total of 272 SRIRs. The source positions are arranged in 30˚ increments at concentric circles of radius 1.5, 2, and 3 m measured with a directional studio monitor, as well as 4 extra positions at the room corners measured with an omnidirectional source. The receiver is a 7 channel open microphone array optimized for its use with the Spatial Decomposition Method (SDM). The 8 acoustic configurations are achieved by setting a subset of the panels to their absorptive configuration in 5 steps (0%, 25%, 50%, 75%, 100% of the panels), as well as 3 configurations in which entire walls are set to their absorptive configuration (right, right/back, right/back/left). Video captures of the laboratory and a second room are obtained using a 360˚ stereoscopic camera with a resolution of 4096 × 2160 pixels, covering the same source/receiver combinations. Furthermore, we present an acoustic analysis of both time-energy and spatio-temporal parameters showcasing the differences in the measured configurations. The dataset, together with spatial analysis and rendering scripts, is publicly released in a GitHub repository1.

This exploratory study investigates peoples’ ability to discriminate between real and virtual sound sources in a position-dynamic headphone based augmented audio scene. For this purpose, an acoustic scene was created consisting of two loudspeakers at different positions in a small seminar room. Considering the presence of headphones, non-individualized BRIRs measured along a line with a dummy head wearing AKG K1000 headphones were used to allow for head rotation and translation. In a psychoacoustic experiment, participants had to explore the acoustic scene and tell which sound source they believe is real or virtual. The test cases included a dialog scenario, stereo pop-music and one person speaking while the other speaker played mono-music simultaneously. Results show that the participants were on trend able to debunk individual virtual sources. However, for the cases where both sound sources reproduced sound simultaneously, lower distinguishability rates were observed.

To achieve the goal of a perceptual fusion between the auralization of virtual audio objects in the room acoustics of a real listening room, an adequate adaptation of the virtual acoustics to the real room acoustics is necessary. The challenges are to describe the acoustics of different rooms by suitable parameters, to classify different rooms, and to evoke a similar auditory perception between acoustically similar rooms. An approach is presented to classify rooms based on measured BRIRs using statistical methods and to select best match BRIRs from the dataset to auralize audio objects in a new room. The results show that it is possible to separate rooms based on their room acoustic properties, that the separation also corresponds to a large extent to the perceptual distance between rooms, and that a selection of best match BRIRs is possible.

Background: Loneliness and social isolation in older age are considered major public health concerns and research on technology-based solutions is growing rapidly. This scoping review of reviews aims to summarize the communication technologies (CTs) (review question RQ1), theoretical frameworks (RQ2), study designs (RQ3), and positive effects of technology use (RQ4) present in the research field. Methods: A comprehensive multi-disciplinary, multi-database literature search was conducted. Identified reviews were analyzed according to the PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) framework. A total of N = 28 research reviews that cover 248 primary studies spanning 50 years were included. Results: The majority of the included reviews addressed general internet and computer use (82% each) (RQ1). Of the 28 reviews, only one (4%) worked with a theoretical framework (RQ2) and 26 (93%) covered primary studies with quantitative-experimental designs (RQ3). The positive effects of technology use were shown in 55% of the outcome measures for loneliness and 44% of the outcome measures for social isolation (RQ4). Conclusion: While research reviews show that CTs can reduce loneliness and social isolation in older people, causal evidence is limited and insights on innovative technologies such as augmented reality systems are scarce.

Augmented or mixed reality (AR/MR) is emerging as one of the key technologies in the future of computing. Audio cues are critical for maintaining a high degree of realism, social connection, and spatial awareness for various AR/MR applications, such as education and training, gaming, remote work, and virtual social gatherings to transport the user to an alternate world called the metaverse. Motivated by a wide variety of AR/MR listening experiences delivered over hearables, this article systematically reviews the integration of fundamental and advanced signal processing techniques for AR/MR audio to equip researchers and engineers in the signal processing community for the next wave of AR/MR.

This study examines the plausibility of Auditory Augmented Reality (AAR) realized with position-dynamic binaural synthesis over headphones. An established method to evaluate the plausibility of AAR asks participants to decide whether they are listening to the virtual or real version of the sound object. To date, this method has only been used to evaluate AAR systems for seated listeners. The AAR realization examined in this study instead allows listeners to turn to arbitrary directions and walk towards, past, and away from a real loudspeaker that reproduced sound only virtually. The experiment was conducted in two parts. In the first part, the subjects were asked whether they are listening to the real or the virtual version, not knowing that it was always the virtual version. In the second part, the real versions of the scenes where the loudspeaker actually reproduced sound were added. Two different source positions, three different test stimuli, and two different sound levels were considered. Seventeen volunteers, including five experts, participated. In the first part, none of the participants noticed that the virtual reproduction was active throughout the different test scenes. The inexperienced listeners tended to accept the virtual reproduction as real, while experts distributed their answers approximately equally. In the second part, experts could identify the virtual version quite reliably. For inexperienced listeners, the individual results varied enormously. Since the presence of the headphones influences the perception of the real sound field, this shadowing effect had to be considered in the creation of the virtual sound source as well. This requirement still limits test methods considering the real version in its ecological validity. Although the results indicate that the availability of a hidden real reference leads to a more critical evaluation, it is crucial to be aware that the presence of the headphones slightly distorts the reference. This issue seems more vital to the plausibility estimates achieved with this evaluation method than the increased freedom in motion.

In binaural rendering, the room divergence effect refers to the decrease in perceived externalization due to a mismatch between the room acoustics of the virtual sounds and those of the listening space. However, it is currently unknown which specific acoustic differences cause this effect. In this work, we present a pilot study to determine detection thresholds between sound sources recorded under different acoustic conditions in a variable acoustics room. These results are intended to predict situations where divergence effects can be expected. The participants had to perform a triangle test where they could listen to three sound sources placed at different positions in the room. The test design was motivated by the fact that sound sources are not placed at the same position in real acoustic scenes. One sound source was recorded under different acoustic conditions than the other two, and the task for the participant was to detect the differing source. The test was conducted in the measured room using 3 DoF binaural reproduction and using a virtual reality (VR) headset to display a visual 360 capture of the room enabling the subjects to see the positions of the sources in the room. Detection rates are signal-dependent and increase with differences in reverberation time (RT). For the most critical signal in the test (castanets), an RT difference of 8% was detectable, while the difference was 15% across all conditions. Furthermore, we discuss the influence of sound source distance and absorption configuration (symmetric or asymmetric) on detection thresholds.

Including unlabeled data in the training process of neural networks using Semi-Supervised Learning (SSL) has shown impressive results in the image domain, where state-of-the-art results were obtained with only a fraction of the labeled data. The commonality between recent SSL methods is that they strongly rely on the augmentation of unannotated data. This is vastly unexplored for audio data. In this work, SSL using the state-of-the-art FixMatch approach is evaluated on three audio classification tasks, including music, industrial sounds, and acoustic scenes. The performance of FixMatch is compared to Convolutional Neural Networks (CNN) trained from scratch, Transfer Learning, and SSL using the Mean Teacher approach. Additionally, a simple yet effective approach for selecting suitable augmentation methods for FixMatch is introduced. FixMatch with the proposed modifications always outperformed Mean Teacher and the CNNs trained from scratch. For the industrial sounds and music datasets, the CNN baseline performance using the full dataset was reached with less than 5% of the initial training data, demonstrating the potential of recent SSL methods for audio data. Transfer Learning outperformed FixMatch only for the most challenging dataset from acoustic scene classification, showing that there is still room for improvement.

Reliable methods for automatic retrieval of semantic information from large digital music archives can play a critical role in musicological research and musical heritage preservation. With the advancement of machine learning techniques, new possibilities for information retrieval in scenarios where ground-truth data is scarce are now available. This work investigates the problem of ensemble size classification in music recordings. For this purpose, a new dataset of Colombian Andean string music was compiled and annotated by musicological experts. Different neural network architectures, as well as pre-processing steps and data augmentation techniques were systematically evaluated and optimized. The best deep neural network architecture achieved 81.5% file-wise mean class accuracy using only feed forward layers with linear magnitude spectrograms as input representation. This model will serve as a baseline for future research on ensemble size classification.

HDR (High Dynamic Range) ermöglicht es, einen weitaus größeren Kontrastumfang einer Szene einzufangen als es im HD-Broadcast der Fall wäre. In der Folge können Details sowohl in den Lichtern als auch in den Schatten erhalten werden. Allerdings sind die Möglichkeiten zur Wiedergabe sehr heterogen und meist deutlich limitierter. Um trotzdem alle Zuschauer von der gesteigerten Aufnahmequalität profitieren zu lassen, wird eine Anpassung - auch Kontrastkompression genannt - nötig. Manuelle Techniken zur Kontrastkompression sind aus der filmischen Postproduktion bekannt, während automatische Verfahren in der Computergrafik Anwendung finden. Aufgrund der speziellen Anforderungen des Broadcast lassen sich diese jedoch nicht einfach übertragen. Eine grundlegende Herausforderung besteht dabei in der Präferenz des Zuschauers. Das Ziel der Arbeit ist es deshalb, die Zuschauerpräferenz bezüglich der Helligkeits- und Farbwahrnehmung zu quantifizieren und anschließend auf diesen Ergebnissen eine algorithmische Lösung zur Anpassung der Kontrastkompression für die Anwendung beim Broadcast anzubieten. Mithilfe von objektiven und subjektiven Untersuchungen soll gezeigt werden, wie sich hierdurch die Bildqualität signifikant steigern lässt. Abschließend gilt es anhand von beispielhaften Workflows und Feldversuchen einen Weg für die flächendeckende Einführung von HDR aufzuzeigen.

In the context of deep learning, the availability of large amounts of training data can play a critical role in a models performance. Recently, several models for audio classification have been pre-trained in a supervised or self-supervised fashion on large datasets to learn complex feature representations, socalled embeddings. These embeddings can then be extracted from smaller datasets and used to train subsequent classifiers. In the field of audio event detection (AED) for example, classifiers using these features have achieved high accuracy without the need of additional domain knowledge. This paper evaluates three state-of-the-art embeddings on six audio classification tasks from the fields of music information retrieval and industrial sound analysis. The embeddings are systematically evaluated by analyzing the influence on classification accuracy of classifier architecture, fusion methods for file-wise predictions, amount of training data, and initial training domain of the embeddings. To better understand the impact of the pre-training step, results are also compared with those acquired with models trained from scratch. On average, the OpenL3 embeddings performed best with a linear SVM classifier. For a reduced amount of training examples, OpenL3 outperforms the initial baseline.

It is pointed out that beyond reproducing the physically correct sound pressure at the eardrums, more effects play a significant role in the quality of the auditory illusion. In some cases, these can dominate perception and even overcome physical deviations. Perceptual effects like the room-divergence effect, additional visual influences, personalization, pose and position tracking as well as adaptation processes are discussed. These effects are described individually, and the interconnections between them are highlighted. With the results from experiments performed by the authors, the perceptual effects can be quantified. Furthermore, concepts are proposed to optimize reproduction systems with regard to those effects. One example could be a system that adapts to varying listening situations as well as individual listening habits, experience and preference.

Spatial audio processing includes recording, modification and rendering of multichannel audio. In all these fields there is the choice of either a physical representation or of perceptual approaches trying to achieve a target perceived audio quality. Classical microphone techniques on one hand and wave field synthesis, higher order ambisonics or certain methods of binaural rendering for headphone reproduction on the other hand target a good physical representation of sound. As it is known today, especially in the case of sound reproduction a faithful physical recreation of the sound wave forms ("correct signal at the ear drums") is neither necessary nor does it allow a fully authentic or even plausible reproduction of sound. 20 years ago, MPEG-4 standardized different modes for perception based versus physics based reproduction (called "Perceptual approach to modify natural source" and "Acoustic properties for physical based audio rendering"). In spatial rendering today, more and more the perceptual approach is used in state of the art systems. We give some examples of such rendering. The same distinction of physics based versus psychoacoustics (including cognitive effects) based rendering is used today for room simulation or artificial reverb systems. Perceptual aspects are at the heart of audio signal processing today.

The aim of auditory augmented reality is to create a highly immersive and plausible auditory illusion combining virtual audio objects and scenarios with the real acoustic surrounding. For this use case it is necessary to estimate the acoustics of the current room. A mismatch between real and simulated acoustics will easily be detected by the listener and will probably lead to In-head localization or an unrealistic acoustic envelopment of the virtual sound sources. This publication investigates State-of-the-Art algorithms for blind reverberation time estimation which are commonly used for speech enhancement algorithms or speech dereverberation and applies them to binaural ear signals. The outcome of these algorithms can be used to select the most appropriate room out of a room database for example. A room database could include pre-measured or simulated binaural room impulse responses which could directly be used to realize a binaural reproduction. First results show promising results combined with low computational effort. Further strategies for enhancing the used method are proposed in order to create a more precise reverberation time estimation.

Die vorliegende Arbeit beschäftigt sich mit der Qualitätsbewertung und -vorhersage in virtuellen akustischen Umgebungen, insbesondere in Raumsimulationen basierend auf Kugelarraydaten, die mithilfe binauraler Synthese auralisiert werden. Dabei werden verschiedene Prädiktionsverfahren angewandt, um den Einfluss des Arrays auf die Wiedergabequalität automatisiert vorherzusagen, indem die Daten von Hörexperimenten mit denen eines auditorischen Modells in Bezug gesetzt werden. Im Fokus der Experimente stehen unterschiedliche, praxisrelevante Aspekte des Messsystems, die einen Einfluss auf die Wiedergabequalität haben. Konkret sind dies Messfehler, wie räumliches Aliasing, Rauschen oder Mikrofonpositionierungsfehler, oder die Konfiguration des Arrays. Diese definiert das räumliche Auflösungsvermögen und entspricht der gewählten Ordnung der Sphärischen Harmonischen Zerlegung. Die Experimente basieren auf Kugelarray-Simulationen unter Freifeldbedingungen und in einfachen simulierten Rechteckräumen mit unterschiedlichen Reflexionseigenschaften, wobei ein Raum trocken, der andere dagegen stark reflektierend ist. Dabei dienen zehn Testsignale als Audiomaterial, die in praktischen Anwendungen relevant erscheinen, wie z. B. Orchester- oder Popmusik, männlicher und weiblicher Gesang oder Kastagnetten. In Wahrnehmungsexperimenten wird der Einfluss von Messfehlern in einer quantitativen Analyse bewertet und die Qualität der Synthese deskriptiv mit den Attributen Apparent Source Width (ASW) und Listener Envelopment (LEV) bewertet. Die resultierenden Daten bilden die Basis für die Qualitätsvorhersage, wobei die Hörtestergebnisse als Observationen und die Ausgangsdaten des auditorischen Modells als Prädiktoren dienen. Mit den Daten werden unterschiedliche Prädiktionsmodelle trainiert und deren Vorhersagegenauigkeit anschließend bewertet. Die entwickelten Modelle ermöglichen es, sowohl Messfehler zu identifizieren und zu klassifizieren als auch deren Ausprägung zu schätzen. Darüber hinaus erlauben sie es, den Einfluss der Arraykonfiguration auf die Wahrnehmung von ASW und LEV vorherzusagen und die verwendete Ordnung der Schallfeldzerlegung zu identifizieren, ebenso wie die Reflexionseigenschaften des simulierten Raumes. Es kommen sowohl einfache Regressionsmodelle und Entscheidungsbäume zur Anwendung als auch komplexere Modelle, wie Support Vector Machines oder neuronale Netze. Die entwickelten Modelle zeigen in der Regel eine hohe Genauigkeit bei der Qualitätsvorhersage und erlauben so die Analyse von grundlegenden Array-Eigenschaften, ohne aufwendige Hörexperimente durchführen zu müssen. Obwohl die Anwendbarkeit der Modelle auf die hier untersuchten Fälle beschränkt ist, können sie sich als hilfreiche Werkzeuge bei der Entwicklung von Kugelarrays für Auralisationsanwendungen erweisen.

Das Gebiet des Music Information Retrieval befasst sich mit der automatischen Analyse von musikalischen Charakteristika. Ein Aspekt, der bisher kaum erforscht wurde, ist dabei der gesungene Text. Auf der anderen Seite werden in der automatischen Spracherkennung viele Methoden für die automatische Analyse von Sprache entwickelt, jedoch selten für Gesang. Die vorliegende Arbeit untersucht die Anwendung von Methoden aus der Spracherkennung auf Gesang und beschreibt mögliche Anpassungen. Zudem werden Wege zur praktischen Anwendung dieser Ansätze aufgezeigt. Fünf Themen werden dabei betrachtet: Phonemerkennung, Sprachenidentifikation, Schlagwortsuche, Text-zu-Gesangs-Alignment und Suche von Texten anhand von gesungenen Anfragen. Das größte Hindernis bei fast allen dieser Themen ist die Erkennung von Phonemen aus Gesangsaufnahmen. Herkömmliche, auf Sprache trainierte Modelle, bieten keine guten Ergebnisse für Gesang. Das Trainieren von Modellen auf Gesang ist schwierig, da kaum annotierte Daten verfügbar sind. Diese Arbeit zeigt zwei Ansätze auf, um solche Daten zu generieren. Für den ersten wurden Sprachaufnahmen künstlich gesangsähnlicher gemacht. Für den zweiten wurden Texte automatisch zu einem vorhandenen Gesangsdatensatz zugeordnet. Die neuen Datensätze wurden zum Trainieren neuer Modelle genutzt, welche deutliche Verbesserungen gegenüber sprachbasierten Modellen bieten. Auf diesen verbesserten akustischen Modellen aufbauend wurden Algorithmen aus der Spracherkennung für die verschiedenen Aufgaben angepasst, entweder durch das Verbessern der Robustheit gegenüber Gesangscharakteristika oder durch das Ausnutzen von hilfreichen Besonderheiten von Gesang. Beispiele für die verbesserte Robustheit sind der Einsatz von Keyword-Filler-HMMs für die Schlagwortsuche, ein i-Vector-Ansatz für die Sprachenidentifikation sowie eine Methode für das Alignment und die Textsuche, die stark schwankende Phonemdauern nicht bestraft. Die Besonderheiten von Gesang werden auf verschiedene Weisen genutzt: So z.B. in einem Ansatz für die Sprachenidentifikation, der lange Aufnahmen benötigt; in einer Methode für die Schlagwortsuche, die bekannte Phonemdauern in Gesang mit einbezieht; und in einem Algorithmus für das Alignment und die Textsuche, der bekannte Phonemkonfusionen verwertet.

Diese Dissertation beabsichtigt einen Beitrag zur Qualitätsbeurteilung von Algorithmen für Bildanalyse und Bildsynthese im Anwendungskontext Videokommunikationssysteme zu leisten. In der vorliegenden Arbeit werden Möglichkeiten und Hindernisse der nutzerzentrierten Definition von subjektiver Qualitätswahrnehmung in diesem speziellen Anwendungsfall untersucht. Qualitätsbeurteilung von aufkommender Visualisierungs-Technologie und neuen Verfahren zur Erzeugung einer dreidimensionalen Repräsentation unter der Nutzung von Bildinformation zweier Kameras für Videokommunikationssysteme wurde bisher noch nicht umfangreich behandelt und passende Ansätze dazu fehlen. Die Herausforderungen sind es qualitätsbeeinflussende Faktoren zu definieren, passende Maße zu formulieren, sowie die Qualitätsevaluierung mit den Erstellungsalgorithmen, welche noch in Entwicklung sind, zu verbinden. Der Vorteil der Verlinkung von Qualitätswahrnehmung und Servicequalität ist die Unterstützung der technischen Realisierungsprozesse hinsichtlich ihrer Anpassungsfähigkeit (z.B. an das vom Nutzer verwendete System) und Skalierbarkeit (z.B. Beachtung eines Aufwands- oder Ressourcenlimits) unter Berücksichtigung des Endnutzers und dessen Qualitätsanforderungen. Die vorliegende Arbeit beschreibt den theoretischen Hintergrund und einen Vorschlag für eine Qualitätstaxonomie als verlinkendes Modell. Diese Arbeit beinhaltet eine Beschreibung des Projektes Skalalgo3d, welches den Rahmen der Anwendung darstellt. Präsentierte Ergebnisse bestehen aus einer systematischen Definition von qualitätsbeeinflussenden Faktoren inklusive eines Forschungsrahmens und Evaluierungsaktivitäten die mehr als 350 Testteilnehmer inkludieren, sowie daraus heraus definierte Qualitätsmerkmale der evaluierten Qualität der visuellen Repräsentation für Videokommunikationsanwendungen. Ein darauf basierendes Modell um diese Ergebnisse mit den technischen Erstellungsschritten zu verlinken wird zum Schluss anhand eines formalisierten Qualitätsmaßes präsentiert. Ein Flussdiagramm und ein Richtungsfeld zur grafischen Annäherung an eine differenzierbare Funktion möglicher Zusammenhänge werden daraufhin für weitere Untersuchungen vorgeschlagen.

Im Zuge der fortschreitenden Digitalisierung ist eine deutliche Veränderung des Musikangebots festzustellen. Streamingdienste, Downloadportale und private Archive stellen umfangreiche Kollektionen von Musikaufnahmen zur Verfügung. Im Forschungsbereich Music Information Retrieval werden Algorithmen zur Strukturierung und Durchsuchung solcher Archive entwickelt. Eine typische Anwendung ist die Klassifizierung von Aufnahmen hinsichtlich musikalischer Genres. Diese Arbeit befasst sich mit solchen Klassifikationsproblemen mit dem Ziel einer Differenzierung innerhalb der abendländischen Kunstmusik. Dabei stehen stilistische Kategorien wie Epochen der Musikgeschichte oder Komponisten im Fokus. Musikwissenschaftler führen solche Stilanalysen typischerweise auf Basis von Partituren durch. Ein wesentlicher Beitrag dieser Arbeit ist die Entwicklung computergestützter Methoden zur Analyse umfangreicher Korpora von Audiodaten. Die Experimente konzentrieren sich dabei auf die Parameter Harmonik und Tonalität. Als erster Schritt werden die Audiodaten mittels Signalverarbeitungstechniken in Chromadarstellungen überführt. Auf dieser Basis werden musiktheoretische Konzepte modelliert und das Auftreten tonaler Strukturen gemessen. Einer der vorgestellten Algorithmen ermittelt die Grundtonart eines Stückes unter Berücksichtigung des Schlussakkords. Eine weitere Methode dient zur Visualisierung von Modulationsstrukturen hinsichtlich diatonischer Skalen sowie von lokal vorherrschenden Skalentypen. Weiterhin werden Methoden zur Messung von Intervall- und Akkordtypen sowie zur Quantifizierung tonaler Komplexität eingeführt. Auf Basis dieser Audiomerkmale werden stilistische Analysen von Musikaufnahmen realisiert. Mit Hilfe unüberwachter Lernmethoden wird die stilistische Ähnlichkeit von Musikstücken im Bezug auf Komponisten und Kompositionsjahre veranschaulicht. Weiterhin werden Experimente zur Klassifizierung nach Epoche oder Komponist durchgeführt. Die Ergebnisse zeigen, dass die tonalen Merkmale stilrelevante Eigenschaften auf stabile Weise modellieren. Im Gegensatz dazu führt die Verwendung von Standardmerkmalen häufig zu einer Überanpassung der Modelle, was sich negativ auf die Klassifikationsergebnisse auswirkt. Dies zeigt, dass sich tonale Eigenschaften zur Stilunterscheidung heranziehen lassen und dass solche Eigenschaften direkt aus Audioaufnahmen gemessen werden können.

Diese Dissertation befasst sich mit dem Problem der Melodiextraktion aus polyphonem musikalischen Audio. Der vorgestellte Algorithmus umfasst ein "bottom-up"-Design, in dem jedes dieser Module eine abstraktere Darstellung der Audiodaten liefert, was eine effiziente Extraktion der Melodie erlaubt. Allerdings ist der Datenstrom nicht unidirektional - bei verschiedenen Gelegenheiten steuert Feedback von höheren Verarbeitungsmodulen die Verarbeitung von vorangestellten Modulen. Die Spektralanalyse basiert auf einer Technik zur effizienten Berechnung von Kurzzeit-Fourier-Spektren in verschiedenen Zeit-Frequenz-Auflösungen. Der Pitchbestimmungsalgorithmus basiert auf der paarweisen Analyse von spektralen Maxima. Obwohl die Melodieextraktion einen starken Fokus auf die vorherrschende Stimme voraussetzt, zielt das Tonverabeitungsmodul auf eine Extraktion von allen auftretenden Grundfrequenzen (F0) ab. Um die Melodiestimme zu identifizieren, muss die beste Abfolge von Tönen ausgewählt werden. Diese Dissertation beschreibt eine effiziente Methode für die automatische Segregation von sogenannten auditiven Klangströmen. Dabei wird eine variable Anzahl von gleichzeitigen Stimmen verarbeitet. Der vorgestellte Melodieextraktionsalgorithmus wurde im MIREX "audio melody extraction task" evaluiert. Die Resultate zeigen, dass der Algorithmus zum Stand der Technik gehört - es wurde die beste Gesamtgenauigkeit der im Jahr 2014 ausgewerteten Algorithmen erreicht.

This contribution presents a summary of results from perceptual auditory experiments on context dependent quality parameters for virtual acoustic environments. The investigated quality features are influenced by divergence between synthesized scene and listening room and adaptation on congruence or divergence between the rooms. Two experiments are presented. The results from the first experiment show the room divergence effect on spatial auditory perception. A divergence between the listening room and binaurally synthesized room leads to a decrease of perceived externalization while congruence yields an increase. A more comprehensive statistical analysis regarding significance, effect size and visual influences is added to complement the original publication of this data. The second experiment shows this effect as the result of expectations of the listeners and can be shifted by adaptation and training. In the experiments we show, that training to congruent or divergent room combinations can increase or decrease the room divergence effect.

Aufgrund des gegenwärtigen Artensterbens sind viele Spezies, einschließlich Menschenaffen wie Schimpansen und Gorillas, vom Aussterben bedroht. Daher gewinnt die Überwachung der aktuellen Bestände mittels autonomer Aufnahmegeräte zunehmend an Bedeutung. Die manuelle Auswertung solcher Daten ist jedoch extrem mühsam, zeitaufwändig und kostenintensiv. Um der immer größer werdenden Datenflut Herr zu werden, untersucht diese Arbeit ein neues Anwendungsgebiet der Bildverarbeitung und des maschinellen Sehens: Automatische Detektion und Identifikation von Primaten in Bildern und Videos. Basierend auf der Annahme, dass Menschen und unsere nächsten Verwandten ähnliche Charakteristika des Gesichts aufweisen, werden in dieser Arbeit Algorithmen zur Erkennung menschlicher Gesichter erweitert um Schimpansen und Gorillas in ihrem natürlichen Lebensraum zuverlässig identifizieren zu können. Die Dissertation beschreibt und evaluiert ein algorithmisches System bestehend aus Detektion, Ausrichtung und Identifikation von Primatengesichtern in Bildern und Videos. Die vorgeschlagenen Algorithmen sind dabei robust gegenüber verschiedenen Posen, Beleuchtungsbedingungen und partiellen Verdeckungen sowie anderen Faktoren wie sie häufig in realen Anwendungsszenarien auftreten. Die Leistungsfähigkeit, aber auch Grenzen des Systems werden ausführlich anhand von Datensets freilebender und gefangener Schimpansen und Gorillas diskutiert. Mit dem Fokus auf die individuelle Erkennung werden zuerst Algorithmen für eine zuverlässige Erkennung von Primaten in Bildern vorgestellt. Holistische Merkmale sowie lokale Deskriptoren werden mittels einer Entscheidungsfusion kombiniert. Anschließend wird dieser Ansatz auf die Erkennung von Menschenaffen in Videos erweitert. Nach der Detektion und Verfolgung von Gesichtern werden Module zur Qualitätsbeurteilung angewandt, um Frames zu identifizieren, die sich am besten für die folgenden Gesichtserkennungsalgorithmen eignen. Weiterhin wird ein neuartiger Frame-Weighting-Algorithmus beschrieben, welcher basierend auf der Konfidenz des Klassifikators die Resultate mehrerer Frames gewichtet. Des Weiteren werden die entwickelten Algorithmen auf realistischen, von Experten annotierten Bild- und Videodatenbanken, sorgfältig evaluiert. Um die Vorteile des vorgeschlagenen Systems zu demonstrieren, wird es mit anderen dem Stand der Technik entnommenen Algorithmen zur Gesichtserkennung verglichen. Die implementierten Algorithmen wurden in einer prototypischen Anwendung zusammengeführt, welche derzeit von Biologen genutzt wird um Populationsgrößen schneller und genauer schätzen zu können. Daher hat das entwickelte Primate Recognition Framework (PRF) das Potential, den Weg zu effizienteren Monitoringverfahren zu ebnen und damit zukünftig Wissenschaftlern zu helfen, neue innovative Schutzmaßnahmen zu entwickeln.

This contribution presents investigations on the influence of scene complexity and room acoustic disparity on the perception of different quality features using a binaural headphone system. The quality features "spatial presence" and "listener envelopment" are investigated next to "perceived externalization" and "localization" of an auditory event. The test uses three different rooms with distinct room acoustic characteristics and several scenes with different spatial complexity. The work addresses the question if the quality features can profit by the different audio scenes or not. The results show that spatial presence is influenced by spatial complexity while room acoustic disparity influences listener envelopment. Furthermore, externalization and localization are not affected by spatial complexity regardless of the personalization method used for binaural synthesis.

Next to an adequate technical realization of an audio reproduction system, the context of usage plays a major role if a perfect auditory illusion with immersion and plausibility is aspired. This contribution presents results from perceptual experiments on context dependent quality parameters. A binaural synthesis of an acoustic scene via a personalized headphone system is used. The investigated quality parameters are influenced by divergence between synthesized scene and listening room, visibility of the scene, and personalization of the system. The plausibility of the perceived auditory scene is described by the test persons with the help of the quality features perceived externalization and direction of the auditory event. The analysis shows that there are significant differences in perceived externalization depending on the occurrence of localization errors but also on divergence or congruence between the listening and synthesized room.

The development of recording and playback systems is motivated by the goal to create a perfect auditory illusion. In the last decades audio systems like ambisonics, wave field synthesis and binaural headphone reproduction gained in importance. Efforts are made to increase the quality of such systems. Despite the years of research and development, there are still many perceptual effects and psychoacoustical factors which are still unknown or not fully understood. This contribution presents a research project which deals with the systematically analysis of perceptual effects regarding to binaural playback. Based on the results of listening tests a measurement model on the perception of binaural synthesized scenes is developed. For this, a set of quality features needs to be determined and evaluated. These quality features and their weightings can be summarized as plausibility of perception. The plausibility of a binaural auralization does not only depend on physical quality elements of the synthesis system, but also depends significantly on contextual factors. During the project several different auditive scenes are created for evaluation. The contextual factors which influence the quality features are varied. Different rooms for playback and recording are considered as well as variations of the complexity of the acoustical scene, the degree of personalization and the type of visual presentation. Dependencies between these factors are expected and are going to be evaluated. This contribution presents first results of contextual factors influencing quality features.

The adjustment of the direct-to-reverberant-energy-ratio (DRR) within a binaural synthesis system is assessed in a listening test. The DRR is changed until the assessors perceive congruence between the synthesized and listening room. The results of the experiment are relevant to apply adaption methods on binaural synthesis to increase plausibility involving context dependent quality parameters like room divergences between the synthesized auditory scene and the listening environment. Furthermore, a discussion is aspired about the relationship between justnoticeable- difference in DRR perception and inter-quartiledistances of the adjusted DRRs.

This paper presents work towards the development of an accurate binocular eye tracking system. For that to happen, virtual eye tracking data is prepared. This is based on defined suitable parameters considering complex influencing factors from the distinctive use case. This work in progress presentation is concluded by results of an initial study with a prototypical eye tracking system. Here, the prepared virtual eye tracking data is processed instead of real camera recordings. The results show that based on pre-defined parameters the virtual eye tracking data is useful to support the development process towards more precise and accurate binocular eye tracking systems.

Die vorliegende Arbeit leistet einen Beitrag zum Forschungsbereich der Stereoanalyse und Bildsynthese im speziellen Kontext der privaten Videokommunikation. Bei der privaten Videokommunikation geht durch die unterschiedliche Positionierung der Kamera und des Videofensters typischerweise der Blickkontakt zwischen den Kommunikationsteilnehmern verloren. Ziel dieser Arbeit ist die Wiederherstellung des Blickkontaktes mittels der Synthese einer virtuellen Kameraansicht, die in Blickrichtung der Kommunizierenden ausgerichtet ist. Die Arbeit umreißt zunächst den positiven Einfluss des Blickkontaktes in der Videokommunikation. Anschließend wird eine tiefgehende Betrachtung der notwendigen technischen Grundlagen im Bereich Stereoanalyse und Bildsynthese durchgeführt. Aufbauend auf diesen Grundlagen wird der der Stand der Technik im Bereich des bildbasierten Renderings im Allgemeinen sowie der Blickkorrektur mittels 3D-Analyse und -synthese im Speziellen umfassend behandelt. Zunächst wird ein Modell von Qualitätsparametern entwickelt, welches die Entscheidungen hinsichtlich Kameraanordnung und Aufnahmesystem determiniert. Notwendige Messungen hinsichtlich Synchronizität und Datenspeicherung werden präsentiert. Im Bereich der Algorithmen der Stereoanalyse werden etablierte lokale und globale Algorithmen analysiert und adaptiert. Verschiedene Kostenmaße, konsistenzbasiertes Füllen, zeitliche und örtliche Glättung sowie eine abschließende Segmentierung werden hinsichtlich des konkreten Anwendungsfalls der Blickkorrektur in der privaten Videokommunikation entwickelt. Darauf aufbauend werden die beiden Syntheseverfahren des trifokalen Transfers sowie des 3D-Warpings weiter entwickelt. Ein wichtiger Beitrag der Arbeit ist ein konturbasiertes Füllverfahren sowie Maßnahmen im Bereich der Punktglättung. Zwei umfangreiche Experimente mit zahlreichen Probanden bestätigen die Korrektheit der Annahme, dass Blickkontakt durch das vorgestellte Verfahren hergestellt werden kann. Sie demonstrieren sowohl die sehr gute Wahrnehmung des Augenkontaktes als auch die signifikante Verbesserung der Akzeptanz und subjektiven Qualitätswahrnehmung durch die entwickelten Algorithmen im Vergleich zum Ausgangspunkt der Arbeit. Eine qualitativer Vergleich mit dem Stand der Technik und eine Diskussion der Ergebnisse, gepaart mit einem Ausblick in die Zukunft des behandelten Forschungsgebietes, schließen die Arbeit ab.

For several decades the measurement and technical description of the acoustical quality of a room is under investigation. Early research only dealt with single point measurements and estimated quality parameters for speech and music presentations by using simple models, like the early to late arriving sound energy ratio. Recent research also takes the spatial characteristics of a sound field into account, and a variety of parameters have been developed and investigated. The two most prominent features in concert hall acoustics are the apparent source width (ASW) and the listener envelopment (LEV). ASW describes the perceived width of the sound scene, while LEV is associated with the feeling of being enveloped by sound. However the role of ASW and LEV is still under discussion in the scientific community. In this paper ASW and LEV are investigated in the context of virtual acoustic environments (VAE) using wave field synthesis (WFS) for sound reproduction. The width of the sound source is modeled in different virtual rooms by using multiple closely spaced virtual sound sources. The perceptual parameters ASW and LEV are evaluated in listening tests with a total of 29 listeners. - acoustical quality, wave field synthesis, apparent source width, listener envelopment

An algorithm is developed which synthesizes binaural room impulse responses (BRIRs) by interpolation between measured data sets. Emphasis is put on the interpolation between distances for different rooms. A linear interpolation in time domain and a time adjustment of the two BRIRs by dynamic time warping prior to interpolation to generate new data sets are used. BRIRs are measured in two rooms for different distances as raw data for the synthesis. For each room an interpolation between data sets of different distances is carried out. The results of the synthesis are evaluated in a listening test. On the basis of perceived distance and externalization the general applicability of the synthesized impulse responses for binaural reproduction is investigated. We can show that there is no significant difference in distance perception between synthesized and measured BRIRs. Furthermore, the test shows that perceived externalization benefits from the amount of reverberation and from congruence between the synthesized and listening room. The positive influence of the congruence between the rooms is minor if the synthesized signals are reverberant but it becomes more dominant if there is less reverberation.

It is well-known that the perception of the position of audio and video stimuli is not independent. In general, video dominates the position if the position offset between audio and video is small. Most previous work focused on natural listening conditions and position offsets between audio and video in the horizontal plane. There is little research concerning offsets in vertical direction and artificial, auralized sound environments. Among different approaches to auralization of spatial audio, the binaural reproduction is especially very interestingas it offers proper perception of direction, distance, and elevation of sound sources at moderate cost. This article addresses the question whether the thresholds of perceptual fusion of audio and video stimuli are the same in binaural reproduction systems and in natural listening conditions. To estimate the influence of audio-visual discrepancy on vertical sound source localization, two experiments have been designed. The test methods were optimized to improve usability and minimize rating errors. Both experiments resulted in psychometric functions of intersensory bias for competing audio and visual stimuli. For binaural reproduction, the obtained results showed an effect of similar magnitude for both the vertical and horizontal plane which is in good agreement with the results obtained from other studies in natural environments.

Dieses Paper präsentiert eine Studie zur Untersuchung der Akzeptanz von Kameratrackingfehlern in stereoskopischen Videosequenzen für den Einsatz in der Stereo-3D (S3D) Fernsehproduktion. Die klassische Betrachtungsweise von Fehlertoleranzen beim Kameratracking ist rein technisch motiviert. Im Zentrum dieser Studie wird deshalb aus zuschauer-zentrierter Sicht die Fragestellung untersucht, ab welcher Ausprägung Trackingfehler in den sechs Freiheitsgraden der extrinsischen Orientierung der Kamera wahrgenommen, beziehungsweise als störend eingeschätzt werden. Dies geschieht unter Anwendung einer Variation der Methode der eben merklichen Unterschiede (Method of Limits). Die Auswertung zeigt, dass Unterschiede zwischen den einzelnen Parametern existieren und dass das subjektive Empfinden von Trackingfehlern weitaus toleranter ist als die harten rechnerischen Grenzen.

Verfahren zur unbeschränkten Abtastratenwandlung (arbitrary sample rate conversion,ASRC) ermöglichen die Änderung der Abtastrate zeitdiskreter Signale um beliebige, zeitvariante Verhältnisse. ASRC wird in vielen Anwendungen digitaler Signalverarbeitung eingesetzt. In dieser Arbeit wird die Verwendung von ASRC-Verfahren in der Wellenfeldsynthese(WFS), einem Verfahren zur hochqualitativen, räumlich korrekten Audio-Wiedergabe, untersucht. Durch ASRC-Algorithmen kann die Wiedergabequalität bewegter Schallquellen in WFS deutlich verbessert werden. Durch die hohe Zahl der in einem WFS-Wiedergabesystem benötigten simultanen ASRC-Operationen ist eine direkte Anwendung hochwertiger Algorithmen jedoch meist nicht möglich. Zur Lösung dieses Problems werden verschiedene Beiträge vorgestellt. Die Komplexität der WFS-Signalverarbeitung wird durch eine geeignete Partitionierung der ASRC-Algorithmen signifikant reduziert, welche eine effiziente Wiederverwendung von Zwischenergebnissen ermöglicht. Dies erlaubt den Einsatz hochqualitativer Algorithmen zur Abtastratenwandlung mit einer Komplexität, die mit der Anwendung einfacher konventioneller ASRC Algorithmen vergleichbar ist. Dieses Partitionierungsschema stellt jedoch auch zusätzliche Anforderungen an ASRC-Algorithmen und erfordert Abwägungen zwischen Performance-Maßen wie der algorithmischen Komplexität, Speicherbedarf oder -bandbreite. Zur Verbesserung von Algorithmen und Implementierungsstrukturen für ASRC werden verschiedene Maßnahmen vorgeschlagen. Zum Einen werden geschlossene, analytischeBeschreibungen für den kontinuierlichen Frequenzgang verschiedener Klassen von ASRCStrukturen eingeführt. Insbesondere für Lagrange-Interpolatoren, die modifizierte Farrow-Struktur sowie Kombinationen aus Überabtastung und zeitkontinuierlichen Resampling-Funktionen werden kompakte Darstellungen hergeleitet, die sowohl Aufschluss über dasVerhalten dieser Filter geben als auch eine direkte Verwendung in Design-Methoden ermöglichen. Einen zweiten Schwerpunkt bildet das Koeffizientendesign für diese Strukturen, insbesondere zum optimalen Entwurf bezüglich einer gewählten Fehlernorm und optionaler Entwurfsbedingungenund -restriktionen. Im Gegensatz zu bisherigen Ansätzen werden solche optimalen Entwurfsmethoden auch für mehrstufige ASRC-Strukturen, welche ganzzahlige Überabtastung mit zeitkontinuierlichen Resampling-Funktionen verbinden, vorgestellt. Für diese Klasse von Strukturen wird eine Reihe angepasster Resampling-Funktionen vorgeschlagen, welche in Verbindung mit den entwickelten optimalen Entwurfsmethoden signifikante Qualitätssteigerungen ermöglichen. Die Vielzahl von ASRC-Strukturen sowie deren Design-Parameter bildet eine Hauptschwierigkeit bei der Auswahl eines für eine gegebene Anwendung geeigneten Verfahrens. Evaluation und Performance-Vergleiche bilden daher einen dritten Schwerpunkt. Dazu wird zum Einen der Einfluss verschiedener Entwurfsparameter auf die erzielbare Qualität von ASRC-Algorithmen untersucht. Zum Anderen wird der benötigte Aufwand bezüglich verschiedener Performance-Metriken in Abhängigkeit von Design-Qualität dargestellt. Auf diese Weise sind die Ergebnisse dieser Arbeit nicht auf WFS beschränkt, sondern sind in einer Vielzahl von Anwendungen unbeschränkter Abtastratenwandlung nutzbar.

Den Anforderungen der Konsumenten gerecht zu werden und ihnen eine immer besser werdende Quality of Experience zu bieten, ist eine der großen Herausforderungen jeder Neuentwicklung im Bereich der Multimediasysteme. Doch proportional zur technischen Komplexität neuer Systeme, in denen Komponenten unterschiedlicher Technologien zu neuen System wie zum Beispiel mobilem 3D-Fernsehen verschmolzen werden, steigt auch die Frage, wie eine optimierte Quality of Experience eigentlich zu erreichen ist. Daher werden seit langer Zeit Nutzertests zur subjektiven Qualitätsbewertung durchgeführt. Deren Ziel über den gesamten Entwicklungsprozesses ist es, die kritischen Komponenten des Systems mit so wenig wie möglich wahrnehmbarem Einfluss auf die wahrgenommene Qualität des Nutzers zu optimieren. Bereits seit den 1970er Jahren werden hierfür Leitfäden verschiedener Standardisierungsgremien zur Verfügung gestellt, in denen unterschiedliche Evaluationsmethoden definiert sind, um die wahrgenommene Gesamtqualität des Systems mit Hilfe von Skalen quantitativ evaluieren zu können. Aktuelle Ansätze erweitern diese klassische Methoden um Sichtweise, die über die klassische Evaluation hedonistischer Gesamtqualität hinausgehen, um das Wissen über individuell zugrundeliegende Qualitätsfaktoren zu erweitern. Die vorliegende Dissertation verfolgt dabei zwei Ziele. Zum einen soll eine audiovisuelle Evaluationsmethode entwickelt werden, die eine kombinierte Analyse quantitativer und qualitativer Daten ermöglicht, um eine Verknüpfung hedonistischer Qualität und zugrundeliegender Qualitätsfaktoren zu ermöglichen. Weiter soll diese Methode innerhalb des Gebiets der mobiler 3DTV-Systeme erprobt und validiert werden. Open Profiling of Quality (OPQ) als Evaluationsmethode kombiniert quantitative Evaluation wahrgenommener Gesamtqualität und deskriptive, sensorische Analyse zur Erhebung individueller Qualitätsfaktoren. Die Methode ist für Erhebungen mit naiven Probanden geeignet. OPQ wurde unter besonderer Beachtung von Validität und Reliabilität in einem konstruktivem Ansatz entwickelt und in einer Folge von Studien während der Entwicklung eines mobilem 3DTV-Systems mit über 300 Probanden angewendet. Die Ergebnisse dieser Studien unterstreichen die sich ergänzenden Ergebnisse quantitativer und sensorischer Analysen. Neben der Entwicklung von OPQ werden in der vorliegenden Arbeit weitere Ansätze sensorischer Analyse präsentiert und miteinander verglichen. Gerade dieser Vergleich ist ein wichtiger Bestandteil der Validierung der OPQ-Methode. Um die Stärken und Schwächen jeder Methode ganzheitlich erfassen und vergleichen zu können, wurde hierfür ein Methodenvergleichsmodell entwickelt und operationalisiert, das den methodischen Beitrag der Arbeit vervollständigt.

In der vorliegenden Arbeit konnte verdeutlicht werden, welche Eigenschaften Schatten haben und aus welchen wahrnehmungspsychologischen Gründen auf deren Verwendung bei interaktiven Darstellungen nicht grundsätzlich verzichtet werden kann. Dabei wurde mit Beispielen belegt, dass Schatten in vielen Fällen zu einer deutlich besseren Wahrnehmung führen. Als ein weiteres Ergebnis dieser Arbeit wurde eine allgemein gültige Methode entwickelt, mit deren Hilfe sich Schattenbeziehungen in Szenengraphen mathematisch ausdrücken lassen. Deren Ergebnis ist die entwickelte Theorie der Schattenrelation. Diese besagt, dass sich mit der Festlegung von Objektbeziehungen zwischen Lichtquellen l, Oberflächen o und Schattenobjekten s in einem Szenengraph als 3-Tupel (l, o, s) eine berechenbare Schattenrelation ergibt. Für die 3-Tupel (l, o, s) einer Schattenrelation wurden Evaluationskriterien definiert und Methoden entwickelt, die es ermöglichen, die Wahrscheinlichkeit der Schattenentstehung durch den Ausschluss von 3-Tupeln zu erhöhen. So lassen sich mit diesen Werkzeugen bereits auf einem sehr niedrigen Abstraktionsniveau Optimierungen durchführen. Der MPEG-4 AFX Standard hat sich für eine normierte Schattenbeschreibung als ein hervorragendes Integrationsumfeld erwiesen. Die MPEG-4 SDL wurde in den Kontext formaler Sprachen eingeordnet. Zur Einbindung der Schattenbeschreibung in die MPEG-4 SDL wurden die bestehenden Randbedingungen untersucht. Mit den vorgestellten mathematischen und sprachlichen Grundlagen wurde eine Syntax und Semantik geschaffen, die sich nahtlos in die existierende SDL eingliedert. Dabei wurden die bestehenden Definitionen weder geändert, noch in irgendeiner Weise negativ beeinflusst. Der Shadow Knoten ermöglicht die Erzeugung von Occludern, Receivern und körperbehafteten Lichtquellen zur Schattendarstellung durch den Autor einer MPEG-4 Szene bei Anwendung der neu entwickelten Schattenbeschreibung. Für die auftretenden Spezialfälle der Semantik wurden attraktive Lösungen gefunden. Trotzdem ist die Schattenbeschreibung für den Autor einer MPEG-4 Szene einfach und flexibel geblieben. Die Anwendung dieser genormten Schattenbeschreibung kann sich positiv auf die Verbreitung des Standards selbst auswirken, da interaktive Darstellungen mit Schatten eine neue Qualität bieten. Die Schattenbeschreibung wurde unabhängig von Berechnungsverfahren definiert. Das hat den Vorteil, dass diese ohne Anpassungsprobleme auf andere szenengraph-basierte 3D-Beschreibungen übertragen werden kann und für künftige Entwicklungen in Hard und Software weit offen ist. Spinnt man den Faden noch weiter, dann kann man feststellen, dass das Prinzip einer Relation auch auf die Beschreibung von Reflexionen übertragen werden könnte, da es sich gleichfalls um Vorgänge handelt, die sich als Objektbeziehungen ausdrücken lassen. Für die Integration in den MPEG-4 AFX Standard müssten dann aber in jedem Fall die dafür bestehenden Randbedingungen erfüllt werden. Auch die Methoden zur Optimierung der dabei verwendeten Tupel würden sich von den hier beschriebenen Verfahren unterscheiden. Die technische Umsetzung der grundlegenden Konzepte konnte erfolgreich durchgeführt werden. Die Darstellung von Schatten im Kontext eines lokalen Beleuchtungsmodells wurde mit der Verwendung von Depth-Shadow Mapping, Per-Pixel Beleuchtung und Per-Pixel Attenuation realisiert. Die exakte Darstellung von diffusen und von spekularen Reflexionen sowie die Verwendung des Wirkungsbereichs von Lichtquellen wurde erreicht. Das entwickelte Multipass-Rendering Verfahren ist in der Lage, die durch den Autor festgelegten Schatteneigenschaften cast und receive für das Depth Shadow Mapping Verfahren zu berücksichtigen. Zum Nachweis der Funktionalität des Attributs penumbra des Shadow Knotens wurde das Verfahren der Jittering Lights mit fünf Samples verwendet. Die damit erreichte Interaktivität war zwar ausreichend, aber nicht wirklich überzeugend. Eine größere Verarbeitungsgeschwindigkeit könnte mit der Single Sample Shadows Methode erreicht werden, da hier nur ein Pass für die Penumbraberechnung ausreicht. Trotzdem wurde die Interaktivität bei moderater Komplexität der Szenen bereits mit gängiger PC-Konsumer-Hardware nachgewiesen. Dazu wurde ein PC mit einer Intel Pentium 4 CPU mit 3.2 GHz und einer GForceFX 5600 Grafikkarte verwendet. Aufgrund der vielen Fragmentoperationen im Texturspeicher hat sich die Bandbreite zur Adressierung des Texturspeichers als ein Schwachpunkt erwiesen. Es ist deshalb darauf zu achten, dass die Grafikkarte zur Adressierung des Texturspeichers möglichst 256 Bit verwendet. Wenn man sich die Frage stellt wo der Trend in der Entwicklung der Grafikhardware für Schattenberechnung hingeht, dann ist denkbar, dass sich spezielle Hardware für interaktives Ray Tracing in den nächsten Jahren durchsetzen kann. Endlich wäre man in der Lage die Attribute für eine physikalisch basierte Lichtausbreitung in die Beschreibung der vorhandenen Tools aufzunehmen. Das Anwendungsfeld für MPEG-4 AFX Szenen bliebe somit nicht nur auf den High-End Bereich beschränkt. Das in dieser Arbeit entwickelte Konzept zur Schattenbeschreibung auf der Basis einer Schattenrelation lässt sich ohne weiteres im Umfeld der zukünftigen Entwicklungen im Bereich des Ray Tracings anwenden. Dabei kann die OpenRT API eine Grundlage zur Implementierung in eine Softwareapplikation bieten. Eine wichtige sprachliche Weiterentwicklung im MPEG-4 Standard ist die derzeit forcierte Standardisierung vieler existierender Knoten in XMT-A und XMT-O. Speziell für die Autorensysteme ist XMT-A und XMT-O im Vergleich zu BIFS, als Austauschformat besser, da es jederzeit für den Autor als Klartext lesbar ist. Die Schattendefinition in Form des Shadow Knotens lässt sich mit nur minimalem Aufwand in XMT integrieren. Wie die Ergebnisse der vorliegenden Arbeit belegen, konnten wichtige noch offene Punkte in der Beschreibung von Schatten mit allgemein gültigen Ansätzen gelöst werden. Die Standardisierung des Shadow Knotens im MPEG-4 AFX Standard ist demnächst abgeschlossen. Mit großer Spannung bleibt abzuwarten, wie stark die Resonanz darauf sein wird.

If sound reproductions are carried out by only two loudspeakers, the stereophonic experience is limited to a small area. The illusion of an artificial stereo width collapses outside this area so that the correct localisation of a phantom source isn't possible anymore. Hence it is necessary to locate the errors caused by such a non-optimal stereo setup and thereon to develop a system which compensates these errors. In this paper appropriate technologies to adapt the so called sweet spot to the current listener's position are introduced. The designed system is formed by a 2-D vector field including FIR filter technology for equalizing the loudspeaker's transfer function. Finally, the obtained conclusion is evaluated by an analysis based on the results of an accomplished measurement.

Das Thema dieser Dissertation ist die Extraktion von Merkmalen, die rhythmische Eigenschaften von Audiosignalen beschreiben. Diese Merkmale sind für die Anwendung in Music Information Retrieval (MIR)-Systemen ausgewählt. Obwohl in der Vergangenheit an der Extraktion rhythmischer Merkmale wie zum Beispiel Tempo und Taktart in großem Umfang gearbeitet wurde, erreichen aktuelle Verfahren nicht die Erkennungsleistung eines geübten Zuhörers. Eine der Ursache dafür wird in der Auswertung von Informationen auf unterschiedlichen Abstraktionsebenen beim Menschen vermutet, eine weitere bei der Berücksichtigung von \mbox{musikalischem} Vorwissen. Der hier beschriebene Ansatz orientiert sich an diesen Analysemechanismen. Zur Identifikation von geeigneten Merkmalen und relevanten Aspekten der menschlichen Verarbeitung der Schallsignale werden Grundlagen aus Musiktheorie, Psychoakustik und Kognitionswissenschaft erklärt. Bekannte Verfahren zur Extraktion rhythmischer Merkmale werden in einer ausführlichen Darstellung des Standes der Technik anschließend erläutert. Der Hauptteil der Arbeit enthält eine Zusammenstellung von Verfahren des maschinellen Hörens, die Informationen auf unterschiedlichen Abstraktionsebenen auswerten. Eine kompakte Darstellung der metrischen Struktur wird zur Ermittlung der metrischen Merkmale vorgestellt. Da einerseits die Auswertung von Low-level-Merkmalen die Anwendung von musikalischem Vorwissen nur in geringen Maß ermöglicht, und andererseits die Informationen auf höheren Abstraktionsebenen durch ihre Fehlerhaftigkeit die Erkennungsleistung in verschiedenen Situationen einschränken können, werden die Ergebnisse der verschiedenen Verfahren in Abhängigkeit ihrer Konfidenzmaße zu einem Gesamtergebnis zusammengefasst. Die Extraktion von rhythmischen Merkmalen aus den Informationen maschinell detektierter perkussiver Instrumente stellt einen Fortschritt im Vergleich zu bekannten Arbeiten dar. Eine Segmentierung in charakteristische Abschnitte des Audiosignals, die zum Beispiel Strophe oder Refrain repräsentieren, wird als Vorverarbeitungsschritt zur Analyse vorgestellt und die dadurch erreichte signifikante Verbesserung der Erkennungsleistung nachgewiesen. Die Leistungsfähigkeit der Verfahren wird anhand eines umfangreichen Testdatensatzes evaluiert und die Eignung der extrahierten Merkmale in einem MIR-System untersucht.

Die vorliegende Dissertation beschäftigt sich mit der Qualitätsbewertung von natürlichen dreidimensionalen Videoobjekten. Dieser neuartige Medienobjekttyp erlaubt die Betrachtung von natürlichen Objekten (z. B. einer Person) aus verschiedenen Perspektiven, die im Idealfall frei wählbar sind. Zunächst werden in dieser Arbeit die Verfahren zur objektiven und subjektiven Qualitätsbewertung von konventionellem Bewegtbild untersucht und systematisiert. Ebenso werden die vielfältigen Verfahren zur Generierung von 3D-Videoobjekten analysiert. Diese bilden ein großes Spektrum von bild- bis hin zu modellbasierten Verfahren. Auf der Grundlage dieser Analyse erfolgt eine Begriffsbestimmung und die Beschreibung eines Modells der 3D-Videoobjektgenerierung, welches für sämtliche Generierungsverfahren gültig ist. Um die Qualität von 3D-Videoobjekten zu untersuchen, wird zunächst die Referenzfrage gelöst. Als Referenzen für zu bewertende 3D-Videoobjekte dienen ausreichend gute 3D-Videoobjekte, welche denselben Inhalt darstellen. Im Weiteren werden die speziellen Qualitätsaspekte von 3D-Videoobjekten aufgezeigt, u. a. Größenfehler, Okklusionen, Epipolarverzerrungen, Kompressionsartefakte und Blickwinkelfehler. Verschiedene Verfahren wie beispielsweise das hierarchische Block-Matching und die eindimensionale DFT dienen dazu, diese Merkmale mittels mathematischer Modelle zu beschreiben. Die wichtigste Einschränkung bei der Auswahl und der Anwendung dieser Methoden ist es, dass a priori kein Bildpunktbezug vorausgesetzt werden kann. Die Merkmalsmodelle umfassen auch die dynamischen Eigenschaften, welche sowohl zeit- als auch blickpunktsänderungsabhängig sein können. Im Anschluss wird die Entwicklung von 3D-Videoobjektqualitätsmerkmalen auf Basis der mathematischen Merkmalsmodelle beschrieben. Diese Qualitätsparameter stellen einen Bezug zur visuellen Wahrnehmung der Qualitätsaspekte und Störungen dar. Es wird eine Methodik zur Bildung eines 3D-Videoobjektqualitätsmaßes 3DVQM auf Basis dieser Qualitätsparameter vorgestellt. Die Bestimmung der Gewichtungskoeffizienten erfolgt sukzessive mit Hilfe erweiterter subjektiver Bewertungsverfahren. Zum Schluss wird die vorgeschlagene Methodik exemplarisch für eine Testreihe durchgeführt. In der Auswertung werden die Möglichkeiten der objektiven Bewertung zur Prädiktion der subjektiven Qualitätsbewertung dargelegt.

Das Thema dieser Dissertation ist die Implementierung eines Verfahrens zur automatisierten Transkription von Musik. Die Fähigkeit des Menschen, insbesondere die von musikalischen Experten, bezüglich der Wahrnehmung musikalischer Inhalte kann von aktuellen technischen Systemen bei weitem nicht reproduziert werden. Einen plausiblen Ansatz, um diese Lücke für Anwendungen der automatisierten Musikanalyse zu schliessen, stellt die Verwendung perzeptuell motivierter Strategien dar. Die vorliegende Arbeit wendet daher konsequent grundlegende Verarbeitungsmechanismen der menschlichen auditorischen Peripherie sowie kognitiv höher angesiedelter Gehirnzentren an. In einer ausfürlichen Darstellung des Standes der Technik werden die aktuellen Algorithmen zur Bestimmung der Grundfrequenzen und zur Segmentierung musikalischer Phrasen sowie deren Anwendung in monophonen und polyphonen Melodietranskriptionssystemen erläutert. Nach der Beschreibung der fundamentalen physiologischen Komponenten der auditorischen Peripherie und Prinzipien der Gestaltpsychologie werden die in dieser Arbeit verwendeten Modelle der teilweise aktiven Schallvorverarbeitung des Innenohres erläutert. Im Bereich der auditiven Weiterverarbeitung werden Prozesse der Frequenzwahrnehmung sowie ein auf gestaltbasierenden Annahmen aufgebautes eigenes Hierarchiemodell eingeführt. Neben der Aufstellung dieses Hierarchiemodells besteht der Kernpunkt der Arbeit in der Implementierung der ausgewählten Modelle bezüglich monophoner und polyphoner Transkriptionsstrategien. Gehörgerechte Pitchextraktion, psychoakustisch motivierte Segmentierung und musiktheoretisch untermauerte Nachbearbeitung bilden die Basis einstimmiger Analyse. Die Untersuchung von Partialtoninterferenzen, polyphonen Pitchhypothesen und Ansätzen zur Oktaverkennung sollen als Grundlage weiterführender Arbeiten im mehrstimmigen Anwendungsfall aufgefasst werden. Die Arbeit schliesst mit der Evaluierung des Verfahrens anhand der Diskussion einer Anzahl verschiedener Testreihen im Umfeld eines Metadaten-Suchsystems. Die erhaltenen Ergebnisse verdeutlichen das (auch kommerzielle) Anwendungspotential der vorgestellten Methode.

In this paper we present an approach for the generation and coding of 3D video objects where the quality is scalable in a definable manner. At first a production chain for the generation and display of 3D video objects based on image based rendering (IBR) methods is described. Starting with this specific generation chain, issues of applying a scalable coding framework for 3D video objects are discussed. By developing a common model of generation a theoretical approach is introduced and basic experiments are presented. For the comparison and the validation of the proposed methodology a quality metric (3DVQM) is utilized and explained further.