Live-conversion of HD and UHD material and their impact on dynamic range and color gamut. - Ilmenau. - 149 Seiten
Technische Universität Ilmenau, Masterarbeit 2020
Der zunehmende Einsatz von neuen Technologien wie Ultra-High Definition und / oder dem erweiterten Farbraum Rec. 2020 bzw. eines größeren Dynamikumfangs (HDR) bietet viele Möglichkeiten und stellt gleichzeitig etliche neue Herausforderungen an Live-TV-Produktionen. Für eine effiziente Parallelproduktion von Standard-HD und HD/UHD mit eben diesen neuen Technologien ist eine ädequate Echtzeit-Konvertierung entscheidend für die Bildqualität. Daher soll diese Arbeit zunächst die Wahrnehmung von Bildqualität, die neuen Technologiestandards und verschiedene Live-Produktions-Workflows erörtern, um darauf aufbauend anhand von praktischen Beispielen den tatsächlichen Bedarf zu untersuchen. Anschließend werden vier Geräte, die diese Live-Workflows ermöglichen, analysiert und umfassend getestet. Dazu dient hauptsächlich ein umfangreicher subjektiver Test nach ITU-R BT.500-14 mit 32 Teilnehmern ergänzt von weiteren Metriken. Letztlich werden die kombinierten Ergebnisse aus diesem Test dargestellt und diskutiert.
Vergleich von Clusteranalysen zur Entdeckung von Ähnlichkeitsstrukturen in industriellen Prüf- und Messdaten. - Ilmenau. - 50 Seiten
Technische Universität Ilmenau, Bachelorarbeit 2020
Die Analyse großer Datenmengen stellt eine Herausforderung dar. Forschungsschwerpunkt der vorliegenden Bachelorarbeit ist eine Anomalie-Detektion in industriellen Prüf- und Messdaten mittels maschineller Lernverfahren. Durch das Aufteilen von Messkurven in verschiedene Cluster sollen typische und davon abweichende Kurvenverläufe gefunden werden. Die Ergebnisse verschiedener Clusteranalysen werden in Bezug auf Qualität und Laufzeit miteinander verglichen und bewertet. Die mathematischen Zusammenhänge von partitionierenden, hierarchischen, dichtebasierten und biclust Verfahren sind in dem Grundlagenteil vorgestellt. Es werden drei Strategien zum Aufbau geeigneter Datensätze aufgezeigt und Methoden zur Messwertreduktion erläutert. Die Durchführung der Analysen mit mehreren Parameterpaaren auf reale und künstliche Datensätze dient als Grundlage zur Auswertung der Ergebnisse. Anhand der ausgewählten Parameter ist deren Auswirkung auf Qualität und Analysezeit zu sehen. Ebenfalls ist die Aussagekraft und Anwendbarkeit geeigneter Evaluierungsmöglichkeiten beschrieben. Ein Großteil der getesteten Algorithmen ist in der Lage, Objekte mit einem irregulären Kurvenverlauf von solchen mit einem typischen Verlauf zu trennen. Die auffälligen Messkurven deuten auf fehlerhafte Funktionen in der untersuchten Baugruppe hin. Es gibt ein Analyseverfahren, dessen Parameter zuverlässig abschätzbar sind und daher brauchbare Ergebnisse für reale und künstliche Daten liefert.
Detektion von Non-Seamless Linking in Hybridradio-Audiostreams. - Ilmenau. - 56 Seiten
Technische Universität Ilmenau, Bachelorarbeit 2020
Das Radio ist ein weit verbreitetes Unterhaltungsmedium. Die mobile Anwendung im Automobil stellt die Entwickler vor größere Herausforderungen als bei einem stationären Hausradio. Sogenannte "Radio-Tuner" können mehrere Quellen für einen stetigen Empfang eines Senders verwenden. Das Hybridradio nutzt hierfür analoges FM, digitales DAB und Onlineradio. Der nahtlose Übergang, auch "Seamless Linking" genannt, zwischen zwei Quellen ist aufgrund zeitlicher Verzögerung die größte Herausforderung in der Entwicklung. Es erfordert ein umfangreiches und zeitintensives Testverfahren. Zur Automatisierung des aktuellen Testverfahrens wird in dieser Arbeit ein Konzept zur Detektion von hörbaren Übergängen entwickelt und algorithmisch umgesetzt. Der Algorithmus benötigt zusätzlich zu dem Ausgangssignal des zu testenden Hybridradio-Tuners ein Referenzsignal. Über einen Ausschnitt dieser Signale wird eine Kreuzkorrelation zur Berechnung des Delays zwischen den beiden Signalen durchgeführt. Durch stetiges Ausführen dieses Prozesses wird ein Delay-Verlauf aufgezeichnet. Über diesen Verlauf lassen sich Synchronierungs- und Timescaling-Fehler feststellen. Des Weiteren wird die Lautheit vor und nach dem Linking gemessen. Wenn die Differenz zwischen den beiden Pegeln zu groß ist, liegt ebenfalls ein Non-Seamless Linking vor. Zudem wird das Linking auf Mutes überpüft, denn ein Mute nach dem Linking stellt auch ein Fehlermerkmal dar. Wenn keiner dieser Fehler detektierbar ist, ist anzunehmen, dass das Linking seamless ist.
Comparison of spectral envelope quantization and coding methods in MDCT based codec at low bitrate with low complexity constraints. - Ilmenau. - 111 Seiten
Technische Universität Ilmenau, Masterarbeit 2020
Sprach- und Audiocodierer sind ein wichtiger Bestandteil von Anwendungen wie Mobilfunk, Rundfunk, Telefonkonferenzen oder Speicherung. Parameter wie Latenz, Wahrnehmungsqualität und Kompressionsfaktor entscheiden über die Anwendbarkeit eines Codecs in diesen Anwendungen. Die LPC-basierte spektrale Hüllkurvenmodellierung wird in dem bekannten Sprach- und Audiocodierer 3GPP EVS[26.14] verwendet, um den Maskierungsschwellenwert abzuleiten. Anschließend wurde das als spectral noise shaping(SNS) [Rav+19] bekannte Verfahren erfunden, das die Amplitudenhüllkurve bei einer Rechenkomplexität modelliert, die niedriger ist als die von LPC. SNS wird im Low Complexity Communication Codec(LC3) verwendet, um den Maskierungsschwellenwert und damit die Rauschformung im Frequenzbereich abzuleiten[63419]. In dieser Arbeit werden Quantifizierer, die für SNS-Parameter verwendet werden, mit einem Vollband-Sprach- und Audiocodierer mit Bitraten von 13.2kbps, 24.4kbps und 96kbps bewertet. Die Quantisierung der SNS-Parameter beeinflusst die wahrnehmbare Audioqualität basierend auf zwei Faktoren, nämlich der Quantisierungsgenauigkeit der SNS-Parameter und der Anzahl der Bits, die für das Restspektrum nach der Quantisierung der SNS-Parameter übrig bleiben. Aus den durchgeführten Experimenten zur Bewertung der Verschlechterung der Wahrnehmungsqualität mit Reduzierung der Anzahl der für die Kodierung des Restspektrums verwendeten Bits geht hervor, dass die Anzahl der für die Kodierung des Restspektrums verfügbaren Bits für die endgültige Wahrnehmungsqualität bei geringerer Bitrate entscheidender ist. Es wird auch experimentell festgestellt, dass ein SNR von 19.48dB ausreicht, um die SNS-Parameter zu quantisieren. In einem schrittweisen Auswertungsprozess werden die einheitlichen skalaren Quantifizierer, uneinheitlichen skalaren Quantifizierer und Vetorquantifizierer mit einer Bitrate von 13.2kbps verglichen. Es wird festgestellt, dass ein 8 Schritt einheitlicher, skalarer Quantizer besser ist als die getesteten skalaren Quantizer. Ein Mehrstufiger Vektorquantisierer mit 512 und 64 Codewörtern in der ersten bzw. zweiten Stufe, der die gleiche Komplexität wie der in LC3 verwendete Quantisierer aufweist, wird experimentell als besser unter den Quantisierern angesehen, die mit einer Bitrate von 13.2kbps getestet wurden. Ein mehrstufiger Vektorquantisierer mit 256 und 32 Codewörtern in der ersten bzw. zweiten Stufe, der die halbe Komplexität des LC3-Gegenstück aufweist, wird experimentell als besser befunden als der des Quantisierers in LC3. Bei einer Bitrate von 24.4kbps hat sich herausgestellt, dass ein mehrstufiger Vektorquantisierer mit 256 und 64 Codewörtern in der ersten bzw. zweiten Stufe, der eine halbe Komplexität wie das LC3-Gegenstück aufweist, experimentell eine gleiche Qualität wie der Quantisierer in LC3 ergibt. Aus den objektiven Messungen geht hervor, dass eine mehrstufige Vektorquantisierung mit 256 und 64 Codewörtern in der ersten bzw. zweiten Stufe, die eine halbe Komplexität wie die von LC3-Gegenstücken aufweist, zu einer ähnlichen Wahrnehmungsqualität führen kann wie die von LC3.
Subjective evaluation of DNN based video enhancements. - Ilmenau. - 104 Seiten
Technische Universität Ilmenau, Masterarbeit 2019
Durch technische Fortschritte ist es seit den letzten Jahren möglich geworden, dass Bild- und Videoinhalte in hochwertiger Qualität auf Geräten wiedergegeben werden können. Dieser Qualitätsanstieg beinhaltet neben größeren Pixelauflösungen auch höhere Bildwiederholraten. Für Inhalte, deren technische Eigenschaften schlechter als die aktuellen Standards sind, bedarf es jedoch Prozesse einer nachträglichen Signalverarbeitung und der damit verbundenen, Interpolation von Pixeln oder Zwischenbildern. Neben der erhöhten Wiedergabequalität können diese Prozesse auch für automatisierte Anwendungen in der Industrie oder allgemein für eine bessere, menschliche Perzeption dienen. In dieser Arbeit wurden daher Methoden zur Qualitätsverbesserung, speziell Upscaling und Frameinterpolation diskutiert. Der Hauptteil beschäftigte sich dabei mit dem Vergleich von klassischen Methoden und Ansätzen mit Deep Neural Networks (DNNs). Dazu wurde ein einstündiger Labortest entworfen, indem Probanden die subjektive Qualität von unterschiedlichen Videosequenzen bewerten sollen. In Vorbereitung wurden diese Videos zuerst auf schlechtere Eigenschaften degradiert und anschließend mit ausgewählten Algorithmen interpoliert. Die Ergebnisse der Evaluation zeigen, dass DNNs zum Upscaling prinzipiell besser geeignet sind als zur Frameinterpolation. Bezüglich einem Vor- oder Nachteil gegenüber klassischen Methoden sind dabei jedoch sowohl die Bildinhalte, als auch technischen Eigenschaften der degradierten Videos maßgeblich entscheidend. Darüber hinaus stellt der höhere Ressourcenverbrauch und die Komplexität von DNNs aktuell noch ein Problem zur Nutzung in zeitkritischen Anwendungen dar. In dieser Arbeit wurde zum Abschluss auch der Einsatz einer objektiven Videoqualitätsmetrik (VMAF) für die Bewertung der Videos überprüft und mit den Testergebnissen des Labortests verglichen. Für Upscaling-Methoden konnte dabei eine hohe Korrelation zwischen dem Labortest und VMAF festgestellt werden.
Video quality prediction and features for gaming QoE. - Ilmenau. - 92 Seiten
Technische Universität Ilmenau, Masterarbeit 2019
Quality of Experience (QoE) von Videos, die über das Internet gestreamt werden, ist ein häufig behandeltes Thema. In den letzten Jahren ist das Interesse an Videospielen in der modernen Mainstream-Kultur angekommen, mit Esports-Turnieren, die größere Ausmaße annehmen als einige traditionelle Sportveranstaltungen und auf Plattformen wie Twitch dauerhaft Millionen von Zuschauern anziehen. Dadurch ist auch das Interesse der Forschung an diesem Thema gestiegen und schafft mit der Gaming QoE eine ganz neue Kategorie. Ein neuer Blick auf die traditionellen Methoden der QoE im Umgang mit gaming-bezogenen Inhalten ist notwendig, da sich Spiele stark von traditionellen Videos unterscheiden. Diese Unterschiede zeigen sich sowohl in der räumlichen als auch in der zeitlichen Komplexität. Eine Videospielgrafik unterscheidet sich von der realen Welt durch die künstlerische Freiheit der Designer und die Limitierungen durch die darstellenden Hardware. Außerdem verwenden Spiele oft Kameratypen, die in konventionellen Videos aus technischen Gründen keine nennenswerte Verwendung finden (z.B. Top-Down oder First-Person-Kameras). Diese Arbeit beschäftigt sich mit den spezifischen Eigenschaften von Videospielen, indem ein pixelbasiertes Feature Set eingeführt wird, das die verschiedenen Spielegenres so genau wie möglich beschreibt. Diese Features werden durch das Training von, auf Machine Learning basierten, Algorithmen zur Klassifizierung der Spielegenres erfolgreich validiert. Um diese Klassifikatoren trainieren zu können, wird ein neuer Twitch-basierter Datensatz gesammelt, der die Streaming-Pipeline besser repräsentiert als herkömmliche Gaming-Datensätze. Die zweite Aufgabe, neben der Klassifizierung besteht darin, ein neues pixelbasiertes Videoqualitätsmodell speziell für gaming-bezogene Videos zu entwickeln. Dazu wurde ein subjektiver Test durchgeführt, um die Ground Truth aufzubauen, auf der das neue Modell validiert wird. Das neue Modell basiert ebenfalls auf Machine Learning, diesmal mittels Regression. Es berücksichtigt die oben genannten gaming-bezogenen Features in Kombination mit herkömmlichen Qualitätsfeatures. Dabei kann festgestellt werden, dass die Berücksichtigung gaming-spezifischer Merkmale die Qualität des gewählten Basismodells BRISQUE+NIQE verbessern kann.
Netflix like encoding optimization. - Ilmenau. - 91 Seiten
Technische Universität Ilmenau, Masterarbeit 2019
Diese Masterarbeit bietet einen alternativen Ansatz zur Generierung von Rate-Quality curves für die Transcodierung mit nur wenigen Bitratenpunkten und dann den verbleibenden Punkt unter Verwendung der logarithmischen Approximationsmethode im Vergleich zu Netflix erzeugen, das eine Brute-Force-Technik verwendet, um Rate-Quality curves für verschiedene Auflösungen unter Verwendung aller möglichen Bitrateneinstellungen zu erzeugen. Die Motivation besteht darin, die Anzahl der Transkodierungsvorgänge so weit wie möglich zu reduzieren und dennoch die gleichen Ergebnisse zu erzielen. Es wurden zwei Pipelines für die Videokodierung betrachtet, die auf einem Brute-Force- und einem logarithmischen Approximationsansatz basieren. Die Bisektionsmethode wurde verwendet, um die Schnittpunkte für aufeinanderfolgende Rate-Quality curves mit verschiedenen Auflösungen zu bestimmen, die die Grenzen für das Transkodieren von Bitratenpunkten für jede Auflösung einer bestimmten Videosequenz liefern. Die Qualitätsbewertungen wurden unter Verwendung einer Full-Reference Metrik namens Video Multimethod Assessment Fusion (VMAF) erstellt. Die Analyse wurde unter Verwendung der Kurven durchgeführt, die mit der Bitrate gegenüber dem VMAF-Modell erzeugt wurden. Die resultierenden Rate-Quality kurven aus dem logarithmischen Ansatz wurden mit den Ratenqualitätskurven des Brute-Force-Ansatzes verglichen, die einen vergleichsweise geringeren mittleren quadratischen Fehler ergaben. Der logarithmische Ansatz reduziert die Komplexität der Transkodierung im Vergleich zum BruteForce-Ansatz von Netflix mit mean squared error 1.4%. Der Ansatz kann unter Verwendung inhaltsbasierter Features, die in den logarithmischen Approximationsansatz integriert sind, weiter verfeinert werden. In dieser Arbeit werden Tools wie FFMPEG, PySceneDetect, VMAF und Libx265 Codec
Video-liking prediction. - Ilmenau. - 75 Seiten
Technische Universität Ilmenau, Masterarbeit 2019
Youtube ist für viele ein fester Bestandteil der täglichen Internettätigkeit geworden. Stark variiert der Online-Videoinhalt und auch die Videoqualität schwankt sehr, von 144p bis 4K. Youtube bietet Nutzern mehrere Möglichkeiten, um ihre Meinung oder ihr Empfinden für das Video zu äußern. Anhand dieser Informationen und anderer verwandten Youtube-Statistiken kann ein sogenanntes Likeability-Measure für ein Video berechnet werden. Indem man das Likeability-Measure für Online-Videos kennt und es mit den Video-Metadaten, visuellen Merkmalen usw. in Beziehung setzt, werden mehrere auf maschinellem Lernen basierende Modelle trainiert und dann eingesetzt, um Likeability-Measure unbekannter Videos vorherzusagen. In dieser Arbeit wird eine geeignete Definition vom Likeability-Measure aus Youtube-basierter Statistiken erörtert. Das Likeability-Measure kann sowohl den Zuschauern als auch den Verlegern helfen, das gewünschte Video nach den Parametern der Würdigkeit und der Akzeptanz vorzufiltern. Diese Forschung zielt darauf ab, Einzelne oder Ensemble Machine-Learning-Modelle zur Vorhersage der Likeability unter Verwendung eines Datasets zu trainieren, dieses Dataset aus 1080p-Videos wird erstellt durch Featuresgewinnung aus den videobezogenen Informationen. Es werden in der Arbeit ebenfalls die Kriterien für die Erstellung des Datasets erörtert. In der Arbeit wird die Vorhersage-aufgaben geteilt in Teilaufgaben von Klassifizierung und Regression basierend auf der Eigenschaft der verwendeten Merkmale. Anschließend werden Einzelne und Ensemble Modelle verwendet, um die Likeability der Videos vorherzusagen. Darüber hinaus werden die implementierten Modelle mithilfe der verschiedenen Leistungsmetriken auf ihre Leistung hin bewertet. Die Arbeit ergab, dass Ensemble Modelle deutlich bessere Leistung erbringen als Einzelne Modelle. Abschließend wird der Spielraum für Verbesserungen diskutiert zur weiteren Forschung auf dem Bereich.
Implementation and evaluation of an eye-tracking system for 360˚ videos. - Ilmenau. - 73 Seiten
Technische Universität Ilmenau, Masterarbeit 2019
In den letzten Jahren ist das Interesse an der Virtuellen Realität gestiegen. Mit der simulierten Umgebung in VR-Systemen können Anwender ein nagezu perfektes Immersionserlebnis erleben. Eye-Tracking ist eine wichtige Komponente im Bereich der Untersuchung der menschlichen visuellen Aufmerksamkeit. Allerdings gibt es derzeit nur wenige integrierte HMD mit innen vormontiertem Eye-tracking-Systemen. Diese Arbeit zielt darauf ab, ein Eye-Tracking System mit dem Framework des Eye-Tracking Systems von Pupil Labs zu konstruieren, während man sich 360˚ Videos ansieht. Eye-Tracking-Daten werden aufgezeichnet, um festzustellen, ob ein Eye-Tracking-System in der 360˚ Videos benötigt wird. Eine Kombination aus gemessenen Kopfrotationsdaten und Eye-tracking-Daten zeigt dann die Gazepunkte der Nutzer im virtuellen 3D-Raum. Die Ergebnisse der Auswertung deuten darauf hin, dass die Kopf rotation Kombination mit Eye-Tracking-Daten einen genaueren Interessenbereich der Nutzer bietet als nur die beteiligten Kopfrotationsdaten. Auf dieser Grundlage deutet es darauf hin, dass das Eye-tracking System verwendet werden sollte, um die visuelle Aufmerksamkeit in der 360˚ Videos zu untersuchen.
Untersuchungen zur Transkodierung von Next Generation Audio Inhalten basierend auf dem EBU Audio Definition Model Renderer. - Ilmenau. - 63 Seiten
Technische Universität Ilmenau, Masterarbeit 2019
Um die Komplexität und Kanalzahl von Next Generation Audio Inhalten zu reduzieren und Inkompatibilitäten zu vermeiden, ist es möglich, einen Teil des objektbasierten Audios bereits bei der Produktion kanalbasiert zu rendern. Dieser Prozess wird als "Vorrendern" bezeichnet. Diese Masterarbeit untersucht Möglichkeiten und Probleme, die sich daraus ergeben. Damit wird die Kanalanzahl begrenzt, und man kann mögliche Inkompatibilitäten der Renderer vorbeugen. Es wird untersucht, welche Auswirkungen dieses Vorrendern auf die Wiedergabe hat und inwiefern das subjektive Empfinden davon beeinflusst wird. Dazu wurden diverse Tests und analytische Untersuchen durchgeführt, die mit einem Hörversuch überprüft werden sollten. Es wurden spezielle Testsequenzen erzeugt, welche für ein objektbasiertes System abgemischt und dann mit verschiedenen Variationen von Kanalbetten auf unterschiedliche Kanalkonfigurationen vorgerendert und wiedergegeben wurden. Auf Basis der erzielten Ergebnisse wurden mögliche Probleme identifiziert und Ansätze zu deren Lösung diskutiert.