Masterstudiengang Medientechnik

Ausgehend davon, dass Mediendateien durch Bearbeitung einer anderen Datei entstehen können, und Metadaten vorliegen, die diese Bearbeitung beschreiben, wird in dieser Arbeit eine Datenbankstruktur erstellt, die diese Metadaten speichern kann. Ebenso beschäftigt sie sich damit, wie diese Informationen abgefragt werden können. Besonderer Wert liegt dabei auf der Abbildung der Vernetzung der voneinander abgeleiteten Dateien, wofür sich die Graphdatenbank OrientDB als bestes Framework zeigte. Die Suche nach Dateien, die bestimmte Parameter haben oder durch bestimmte Operationen erstellt wurden, kann damit performant erfolgen.

Immer häufiger ist in Auslagen großer Technikanbieter und -konzerne zu beobachten, dass eine Vielzahl an Kommunikations- und Interaktionssystemen mit der Videokommunikation ausgestattet ist. Mit der Vielzahl an Möglichkeiten, die dem Nutzer hinsichtlich der Videokommunikation geboten werden, entstehen für den Nutzer ebenso viele Nutzungsumgebungen. Ziel der Arbeit ist, die realen Nutzungsumgebungen des Nutzers hinsichtlich der Videokommunikation abbilden zu können. Dabei wird der Fokus auf die private und professionelle Nutzungsumgebung gelegt. Hierzu ergeben sich folgende Forschungsfragen, die im Zentrum der Arbeit stehen: Wie ist der aktuelle Stand der Videokommunikation im privaten und im professionellen Environment? Welche Gemeinsamkeiten und welche Unterschiede bestehen zwischen privatem und professionellem Environment (Nutzungsangelegenheiten, Nutzungsumgebung, Nutzungsverhalten, Nutzungshäufigkeit, Stellenwert, Einflussfaktoren)? Der erste Teil der vorliegenden Arbeit gibt einen Einblick in die theoretischen Grundlagen der Videokommunikation. Neben der Klärung diverser Begrifflichkeiten wird ein Einblick in die Entwicklung der Videokommunikation und ein Überblick der aktuellen Marksituation der Videokommunikation gegeben. Im zweiten Teil der Arbeit wird sich mit den theoretischen Konzepten der jeweiligen Environments sowie deren Analysemöglichkeit auseinandergesetzt. Zentraler Punkt dieses Abschnitts ist, die theoretischen Vorüberlegungen aus dem ersten Teil der Arbeit mit der empirischen Untersuchung aus dem dritten Teil der Arbeit zu verbinden. Ausgehend von den jeweiligen Context-Kategorien werden hypothetisch Szenarien für potentielle Einflussfaktoren in den jeweiligen Environments entwickelt. Die hypothetischen Vorüberlegungen sind Grundlage für die im dritten Teil der Arbeit vorzustellenden Fragebögen. Die Fragebögen dienen der Untersuchung der realen Videokommunikationsgegebenheiten im privaten und im professionellen Environment. Erklärungen zum Aufbau und zur Zusammensetzung der Fragebögen sowie deren Auswertung ist Bestandteil des dritten Teils der Arbeit. Die gewonnenen Ergebnisse der Fragbögen der jeweiligen Environments sollen Antworten auf die Forschungsfragen geben, aus denen wiederum ein Abbild der Videokommunikationsnutzung in den beiden Environments erzielt werden kann. Die Arbeit endet mit einer Schlussbetrachtung, in der eine Einschätzung der Ergebnisse und deren Repräsentativität vorgenommen wird. Zudem wird ein Ausblick für die Nutzung der Videokommunikation gewagt.

Die Anzahl an Multimediadaten wächst stetig, weshalb eine automatisierte Organisation und Verwaltung unumgänglich wird. Ein wichtiger Schritt in diesem Zusammenhang besteht in der automatisierten Klassifikation der Semantik des Datenmaterials. Diese Semantik spiegelt sich jedoch in einer Vielfalt an Konzepten wider, die es nach Möglichkeit individuell zu betrachten gilt. So wurden im Rahmen dieser Arbeit häufig verwendete Konzepte identifiziert und bzgl. ihrer charakteristischen Merkmale untersucht, um im Rahmen des maschinellen Lernens jedes Konzept anhand der jeweils relevanten Merkmale zu repräsentieren. Zur Klassifikation wurden dabei Konzepte genutzt, die unter anderem die Tageszeit bzw. die räumliche Umgebung eines Bildes näher beschreiben. Zusätzlich fanden Stimmungskonzepte sowie detaillierte Beschreibungen Anwendung. Dabei wurde im Rahmen der Evaluationen eine Vielzahl an Farb- und Texturmerkmalen so reduziert, dass bzgl. der Charakteristik eines jeweiligen Konzepts schließlich die Merkmalskombination gefunden wurde, welche die Klassifikationsgüte steigert. Diese Auswahl wurde auf ihre Gültigkeit für unterschiedliche Daten analysiert sowie durch zusätzliche Untersuchungen verifiziert. Darüber hinaus wurden weitere Einflussparameter, die sich auf den Klassifikationsprozess auswirken, identifiziert und anhand unterschiedlicher Evaluationen optimiert, bspw. die Bildauflösung zur Merkmalsextraktion, die Zusammenstellung des Datensatzes bzgl. Video- und Fotodaten sowie die Klassifikation von semantischen Konzepten unter Berücksichtigung von Beziehungen. Weiterhin wurde die Klassifikation und Evaluation von Multi-Labels optimiert, um auch an der Stelle die Klassifikationsgüte zu steigern. Ein wichtiger Punkt dabei bestand darin, Schwellwerte zu ermitteln auf deren Basis die Klassifikation erfolgen kann. Aufbauend auf den Erkenntnissen der durchgeführten Evaluationen wurde ein Framework entwickelt, das die einzelnen Optimierungsschritte berücksichtigt und die weitere Evaluation bzw. Klassifikation von Bilddaten vornimmt. Schließlich konnte die Klassifikationsgüte für die einzelnen Konzepte im Rahmen dieser Arbeit in jedem Fall gesteigert werden. Die Klassifikation von Multi-Labels auf Basis der optimierten Schwellwertbestimmung sowie die Berücksichtigung von Beziehungen erzielten dabei die größte Verbesserung der Klassifikationsgüte.

Die vorliegende Masterarbeit beschreibt die Entwicklung eines Systems zur Detektion und Klassifizierung von rhythmischen Mustern in Videosequenzen. Der äußere visuelle Rhythmus manifestiert sich in Form von Montagestrukturen. Diese entsprechen den Konzepten "regular", "progressive", "alternating" und "random" und werden vom System unter Verwendung von eindeutigen Vorschriften hierarchisch erfasst und differenziert. Einheiten des inneren visuellen Rhythmus kommen in ihrer Ausprägung globalen Bewegungsvarianzen gleich, die den Klassen "no motion", "fluid" und "staccato" gerecht werden. Grundlage für die Erkennung rhythmischer Patterns innerhalb der Einstellungen bildet eine frameweise globale Bewegungsschätzung, die unter Einsatz eines Gaussian Mixture Models (GMM) sowie einer Support Vector Machine (SVM) realisiert wird. Auf Basis dieser Klassifikation können zeitliche Bewegungsänderungen in Art und Tempo in einem Deskriptor festgehalten werden. Das Merkmal dient im Verlauf zur Klassifizierung der rhythmischen Elemente, wiederum mithilfe einer SVM. Um die Teilkomponenten des Systems in ihrem Funktionsumfang hinreichend bewerten zu können, wurde ein Datenset bestehend aus 136 Schnittfolgen und 7953 Einstellungen aus den Kategorien Werbung, Spielfilm, Musik und Sport angelegt. Die besten Parameterkonfigurationen der implementierten Module lieferten diesbezüglich eine maximale mittlere Detektionsgenauigkeit von 79% für die Patterns des äußeren visuellen Rhythmus. Muster innerhalb der Shots konnten mit einer mittleren Genauigkeit von 66,5% klassifiziert werden.

Am Fraunhofer IDMT werden Anwendungen im Bereich des maschinellen Sehens entwickelt. Hierfür werden \emph{Ground Truth} Daten benötigt, die den semantischen Inhalt, die Struktur oder Eigenschaften einer Mediendatei beschreiben und von einem oder mehreren Menschen erstellt werden. Auf Basis dieser Referenzdaten können Algorithmen semantische Konzepte antrainiert werden. Um die Auswirkungen von Anpassungen während der Entwicklung und/oder die Leistungsfähigkeit unterschiedlicher Algorithmen vergleichen zu können, sind ebenfalls Groud Truth Daten notwendig. Die Verfügbarkeit und Qualität dieser Daten ist dabei von entscheidender Bedeutung, um aussagekräftige Ergebnisse zu erhalten. Während für Bilddaten zahlreiche öffentlich zugängliche und umfangreiche Daten-Sets existieren, besteht für Videos ein Mangel derartiger Datenbanken. Ein Grund dafür ist der hohe zeitliche Aufwand bei der manuellen Erstellung von Annotationen durch die Beschaffenheit von Videodaten. Ein weiterer Grund ist ein Mangel an ausgereiften und flexibel einsetzbaren Annotationswerkzeugen, welche neben zeitlichen örtliche Annotation ermöglichen. Im Rahmen dieser Arbeit wurde ein Werkzeug zur raum-zeitlichen Annotation von Videodaten entwickelt, das flexibel eingesetzt und über Schnittstellen erweitert und angepasst werden kann. Um den zeitlichen Annotationsaufwand zu reduzieren wurden Automatismen integriert, welche dem Nutzer eine effiziente Annotation zeitlicher wie auch örtlicher Eigenschaften ermöglicht. Zur Gewährleistung einer hohen Nutzerfreundlichkeit wurde die Software unter Berücksichtigung von Usability-Aspekten konzipiert.