http://www.tu-ilmenau.de

Logo TU Ilmenau


Ihre Position

INHALTE

Frühere Meldungen aus dem Fachgebiet AVT

Die Preisträger Domink Keller und Anton Schubert mit dem Vorsitzenden das Fördervereins Herrn Prof. Seitz.

Förderpreise an Absolventen des Fachgebiets

Zum zweiten Mal überreichte der Förderverein Elektrotechnik und Informationstechnik e. V. Ilmenau in Verbindung mit der der Fakultät für Elektrotechnik und Informationstechnik der TU Ilmenau seinen Förderpreis für herausragende Abschlussarbeiten. Der dotierte Preis würdigte die Leistungen der Studierende im Rahmen der Exmatrikulationsfeier Ende Juni. Erfreulicherweise wurden gleich zwei Abschlussarbeiten des FG Audiovisuelle Technik, die mit Industriepartnern durchgeführt wurden, aufgrund ihres hohen Grads an Interdisziplinarität und Wissenschaftlichkeit sowie der Ausführung als herausragend ausgezeichnet und prämiert.

Wir gratulieren den Preisträgern Anton Schubert, der sich mit der Implementierung eines komprimierten breitbandigen Audio Codecs für die Fahrerkommunikation im Motorsport beschäftigt hat, und Dominik Keller, der die Identifizierung und Analyse von Texturdimensionen in Kinofilmen mit Hilfe von Sensorikbewertungsverfahren bearbeitet hat.

IMT auf dem Sommerfest der Thüringer Landesvertretung in Berlin

Auch im Jahr 2019 war das Institut für Medientechnik (IMT) auf dem Sommerfest der Thüringer Landesvertretung in Berlin vertreten. Den Stand teilten sich zwei Fachgebiete. Dabei demonstrierte das Fachgebiet Audiovisuelle Technik die unterschiedliche Wirkung von Videoinhalten in Full-HD- und in UHD-Auflösung mit eigens dafür produzierten Inhalten. Darüber hinaus wurden 360°-Videos (Virtuelle Realität) präsentiert, die im Fachgebiet erstellt wurden und für Wahrnehmungstests dienen. Zu einer immersiven Wahrnehmung der virtuellen Realität gehört auch die adäquate räumliche Audioszene. Deshalb zeigte das Fachgebiet Elektronische Medientechnik mit Hilfe eines Mikrofonarrays wie diese 360°-Audioaufnahmen entstehen und machte das Ergebnis direkt am Stand hörbar.

Bei sommerlichem Wetter gab es viele interessierte Besucher. Unter anderem ließ sich der Thüringer Ministerpräsident Bodo Ramelow von Prof. Brandenburg und Prof. Raake die Technik erläutern. Unterstützt wurden diese während der Veranstaltung von Stephan Fremerey, Dr. Stephan Werner und Matthias Döring.

Nach oben

Dominik Keller, Tamara Seybold, Janto Skowronek und Alexander Raake
Assessing Texture Dimensions and Video Quality in Motion Pictures using Sensory Evaluation Techniques

Das aus der Zusammenarbeit von Mitgliedern des Fachgebiets Audiovisuelle Technik und Oscar-Preisträger ARRI (Arnold & Richter Cine Technik) entstandene Paper erhielt den Best Paper Award auf der diesjährigen 11. Int. Konferenz zum Thema Quality of Multimedia Experience (QoMEX 2019).

Die Qualität von Bildern und Videos wird in der Regel mit etablierten subjektiven Tests oder instrumentellen Modellen überprüft. Diese zielen oft auf Inhalte ab, die über das Internet übertragen werden, wie z.B. Streaming oder Videokonferenzen, und richten sich an die menschliche Präferenzbewertung. Im Bereich der hochwertigen Kinofilme sind jedoch auch andere Faktoren relevant. Diese sind meist nicht fehlerbezogen, sondern zielen auf die kreative Bildgestaltung ab, die in der Bild- und Videoqualitätsforschung vergleichsweise wenig Beachtung gefunden hat. Um die Wahrnehmungsdimensionen zu bestimmen, die der filmischen Videoqualität zugrunde liegen, kombinieren wir sensorische Bewertungstechniken (Degree of Difference Test und Free Choice Profiling), die in der Lebensmittelbewertung  umfassend eingesetzt werden, mit eher klassischen Videoqualitätsprüfungen. Das Hauptziel dieser Forschung ist es, die Eignung sensorischer Bewertungsmethoden für eine Bewertung qualitativ hochwertiger Videosequenzen zu analysieren. Um zu verstehen, welche Merkmale in Film erkennbar und qualitätskritisch sind, variieren wir Merkmale der Bildtextur und messen die menschliche Wahrnehmung und Präferenz mit Bildqualitätexperten. Zu diesem Zweck wurden verschiedene Aufnahmeeinstellungen mit Schärfefiltern sowie digitalem und analogem Rauschen für exemplarische Quellsequenzen simuliert. Die Auswertung, die Multidimensional Scaling, Generalized Procrustes Analysis sowie Internal und External Preference Mapping umfasst, identifizierte zwei verschiedene Wahrnehmungsdimensionen. Wir kommen zu dem Schluss, dass das Free Choice Profiling in Verbindung mit einem Qualitätstest das höchste Maß an Einblick in Bezug auf den erforderlichen Aufwand bietet. Die Kombination ermöglicht eine quantitative Qualitätsmessung mit einer zugrunde liegenden Wahrnehmungsdimensionsmessung.

Ergebnis des External Preference Mapping: Höchste Qualitätsbewertung für Stimuli mit geringem Rauschen und mittelhoher Schärfe (Landschaftsszene)

In a study presented at the QoMEX 2019 conference, we compare the impact of various motion interpolation (MI) algorithms on 360° video Quality of Experience (QoE). For doing so, we conducted a subjective test with 12 video expert viewers, while a pair comparison test method was used. We interpolated four different 20 s long 30 fps 360° source contents to the native 90 Hz refresh rate of popular Head-Mounted Displays using three different MI algorithms. Subsequently, we compared these 90 fps videos against each other to investigate the influence on the QoE. Regarding the algorithms, we found out that ffmpeg blend does not lead to a significant improvement of QoE, while MCI and butterflow do so. Additionally, we concluded that for 360°  videos containing fast and sudden movements, MCI should be preferred over butterflow, while butterflow is more suitable for slow and medium motion videos. While comparing the time needed for rendering the 90 fps interpolated videos, ffmpeg blend is the fastest, while MCI and butterflow need much more time.

Nach oben

Published in 26th IEEE Conference on Virtual Reality and 3D User Interfaces, March 2019, Osaka, Japan

A. Singla, R. R. R. Rao, S. Göring and A. Raake: Assessing Media QoE, Simulator Sickness and Presence for Omnidirectional Videos with Different Test Protocols

QoE for omnidirectional videos comprises additional components such as simulator sickness and presence. In this paper, a series of tests is presented comparing different test protocols to assess integral quality, simulator sickness and presence for omnidirectional videos in one test run, using the HTC Vive Pro as head-mounted display. For quality ratings, the five-point ACR scale was used. In addition, the well-established Simulator Sickness Questionnaire and PresenceQuestionnaire methods were used, once in a full version, and once with only one single integral scale, to analyze how well presence and simulator sickness can be captured using only a single scale.

 

Ashutosh Singla while presenting his poster at the IEEE VR conference in Japan


Eleventh International Conference on Quality of Multimedia Experience (QoMEX) (QoMEX 2019). Berlin, Germany. June 2019

Steve Göring, Rakesh Rao Ramachandra Rao, Alexander Raake

nofu - A Lightweight No-Reference Pixel Based Video Quality Model for Gaming Content

Popularity of streaming services for gaming videos has increased tremendously over the last years, e.g. Twitch and Youtube Gaming. Compared to classical video streaming applications, gaming videos have additional requirements. For example, it is important that videos are streamed live with only a small delay. In addition, users expect low stalling, waiting time and in general high video quality during streaming, e.g. using http-based adaptive streaming. These requirements lead to different challenges for quality prediction in case of streamed gaming videos. We describe newly developed features and a no-reference video quality machine learning model, that uses only the recorded video to predict video quality scores. In different evaluation experiments we compare our proposed model nofu with state-of-the-art reduced or full reference models and metrics.
In addition, we trained a no-reference baseline model using brisque+niqe features. We show that our model has a similar or better performance than other models. Furthermore, nofu outperforms VMAF for subjective gaming QoE prediction, even though nofu does not require any reference video.

 

scatter_plot_mos_nofu: results for gaming dataset and subjective score prediction


 

7th European Workshop on Visual Information Processing (EUVIP), Tampere (Finland), 26 - 28 November 2018 (http://www.tut.fi/euvip2018/)

Steve Göring, Alexander Raake

deimeq – A Deep Neural Network Based Hybrid No-reference Image Quality Model

Current no reference image quality assessment models are mostly based on hand-crafted features (signal, computer vision, . . . ) or deep neural networks. Using DNNs for image quality prediction leads to several problems, e.g. the input size is restricted; higher resolutions will increase processing time and memory consumption. Large inputs are handled by image patching and aggregation a quality score. In a pure patching approach connections between the sub-images are getting lost.

Also, a huge dataset is required for training a DNN from scratch, though only small datasets with annotations are available. We provide a hybrid solution (deimeq) to predict image quality using

DNN feature extraction combined with random forest models. Firstly, deimeq uses a pre-trained DNN for feature extraction in a hierarchical sub-image approach, this avoids a huge training dataset. Further, our proposed sub-image approach circumvents a pure patching, because of hierarchical connections between the sub-images. Secondly, deimeq can be extended using signal-based features from state-of-the art models. To evaluate our approach, we choose a strict cross-dataset evaluation with the Live-2 and TID2013 datasets with several pre-trained DNNs. Finally, we show that deimeq and variants of it perform better or similar than other methods.

Bild: Genereller Ansatz für eine Klassifikation in HD und UHD


 

Human Vision and Electronic Imaging 2019, Burlingame (California USA), 13 - 17  January 2019 (http://www.imaging.org/site/IST/IST/Conferences/EI/Symposium_Overview.aspx)

Steve Göring, Julian Zebelein, Simon Wedel, Dominik Keller, Alexander Raake

Analyze And Predict the Perceptibility of UHD Video Contents

720p, Full-HD, 4K, 8K, ..., display resolutions are increasing heavily over the past time. However many video streaming providers are currently streaming videos with a maximum of 4K/UHD-1 resolution. Considering that normal video viewers are enjoying their videos in typical living rooms, where viewing distances are quite large, the question arises if more resolution is even recognizable. In the following paper we will analyze the problem of UHD perceptibility in comparison with lower resolutions. As a first step, we conducted a subjective video test, that focuses on short uncompressed video sequences and compares two different testing methods for pairwise discrimination of two representations of the same source video in different resolutions.

We selected an extended stripe method and a temporal switching method. We found that the temporal switching is more suitable to recognize UHD video content. Furthermore, we developed features, that can be used in a machine learning system to predict whether there is a benefit in showing a given video in UHD or not.

Evaluating different models based on these features for predicting perceivable differences shows good performance on the available test data. Our implemented system can be used to verify UHD source video material or to optimize streaming applications.

Nach oben

Preis für P. Lebreton, S. Fremerey und A. Raake

Im Rahmen der „Grand Challenge on Salient 360!“ auf der diesjährigen IEEE International Conference on Multimedia and Expo (ICME) in San Diego erhielten Dr. Pierre Lebreton (früher TU Ilmenau, jetzt Zhejiang Universitiy, China), Stephan Fremerey und Prof. Dr. Alexander Raake den Preis für den zweiten Platz in der Kategorie „Prediction of Head Saliency for Images“ und den vierten Platz in der Kategorie „Prediction of Head Saliency for Videos“. (http://www.icme2018.org)

Beispiel einer Heatmap, die alle aufgenommenen Kopfrotationsdatenpunkte der Teilnehmer für eine Sequenz darstellt
Image Appeal Prediction Pipeline
YouTube-Qualität entsprechend ITU-T P.1203 in Abhängigkeit von der Download-Geschwindigkeit und anderen Faktoren.

Neue Arbeiten im Bereich Virtual Reality, Bildästhetik und Video-Streaming auf der IEEE QoMEX und ACM MMsys vorgestellt

Im Rahmen der diesjährigen ACM MMSys Konferenz wurde von Stephan Fremerey eine Studie mit entsprechender Open Source Software und einem Datensatz veröffentlicht. Innerhalb der Studie, die in Zusammenarbeit mit ARTE G.E.I.E. entstand, bestand das Forschungsziel darin, das Explorationsverhalten von 48 Teilnehmern, die sich 20 verschiedene, 30s lange 360° Videos ohne eine spezielle Aufgabe ansehen, näher zu untersuchen. Der veröffentlichte Datensatz enthält eine Auswertung des Simulator Sickness Questionnaire, die Kopfrotationsdaten und die entsprechende Open Source Software, um den entsprechenden Datensatz aufzunehmen und auszuwerten (siehe https://github.com/Telecommunication-Telemedia-Assessment/AVTrack360).

Das Paper von Steve Göring über Bildästhetik wurde auf der IEEE QoMEX Konferenz präsentiert. Die Hauptidee des papers ist basierend auf gegebenen Bildern eines 80k Bilder umfassenden Datensatzes von einer Fotoplattform ein Modell zu trainieren um Bildästhetik bzw ob ein Bild gemocht wird vorherzusagen. Die benutzten Features basieren dabei auf Bildeigenschaften, Social Network Analysis, Analysen der Kommentare und anderen Meta-Informationen der Bilder aus solchen Fotoportalen.

Zum Thema Video-Streaming stellte Werner Robitza eine Studie auf der QoMEX-Konferenz vor. In Zusammenarbeit mit der Deutschen Telekom wurde hier die Qualität von YouTube-Übertragungen unter verschiedenen Bandbreiten gemessen. Die Arbeit zeigt den Einfluss von unterschiedlichen Mess-Szenarien auf die gemessenen Performance-Indikatoren sowie Qualität nach dem ITU-T P.1203-Standard, welcher für HTTP Adaptive Streaming entwickelt wurde.

Gemeinsam mit akademischen und Industriepartnern von Ericsson, Deutsche Telekom, TU Berlin, NTT Corporation und NETSCOUT Systems wurde ein offener Datensatz und eine Software für den ITU-T P.1203-Standard auf der ACM MMSys veröffentlicht. Die Software kann für nichtkommerzielle Forschungszwecke frei eingesetzt werden. Mehr Informationen zu den Arbeiten des Fachgebiets zum Thema P.1203 finden Sie hier.

Prof. Dr. Alexander Raake im Gespräch mit dem Thüringer Ministerpräsidenten Bodo Ramelow (Foto: M. Döring)

IMT auf dem Sommerfest der Thüringer Landesvertretung in Berlin

Wie schon im vergangenen Jahr war das Fachgebiet mit Demonstationen seiner aktuellen Forschungsthemen auf dem Sommerfest der Thüringer Landesvertretung in Berlin vertreten. Bei der Veranstaltung am Nachmittag und Abend des 26. Juni 2018 konnten sich interessierte Besucher am Stand der TU Ilmenau über Techniken der Virtuellen Realität und der dabei eingesetzten Mechanismen zur Qualitätsschätzung informieren. Außerdem konnten sie nach dem Schauen von 360°-Videos erkennen, welche Teile des Videos sie tatsächlich erkundet hatten.

Prominenter Besucher und interessierter Gast war der Thüringer Ministerpäsident Bodo Ramelow, der sich von Prof. Raake die Forschungsziele auf dem Gebiet der VR-Technik erläutern ließ. Prof. Raake wurde während der Veranstaltung von Stephan Fremerey, Matthias Döring und Paul Krabbes aus dem Institut für Medientechnik unterstützt.

Video (YouTube)

Nach oben

Prof. Schade (Mitte) mit dem Geschäftsführer Jürgen Burghardt und dem Vorsitzenden der FKTG Dr. Siegfried Fößel

FKTG-Ehrenmitgliedschaft für Prof. Schade

Herr Prof. Dr.-Ing. Hans-Peter Schade, der das Fachgebiet AVT von 2002 bis 2015 leitete, wurde auf der 28. FKTG-Fachtagung vom 4. – 6. Juni 2018 in Nürnberg zum Ehrenmitglied der Fernseh- und Kinotechnischen Gesellschaft (FKTG) ernannt.

STEEM-Projekt abgeschlossen

Im Mai 2018 konnte das Projekt STEEM (Speech Transmission End-to-End Monitoring) erfolgreich abgeschlossen werden. Auf der Basis einer großen Anzahl von Konversationstests wurde im Fachgebiet ein verbessertes Modell zur Vorhersage der wahrgenommenen Qualität bei IP-Telefonie entwickelt. In Erweiterung von bestehenden Modellen wurden der Einfluss von Hintergrundgeräuschen und die Eigenschaften von Endgeräten in das Modell einbezogen. Dieses Modell wurde dem Projektpartner HEAD acoustics übergeben. Die gefundene Lösung soll Eingang in die Produkte der Aachener Firma finden, um Netzbetreiber und Hersteller von Komponenten besser in die Lage zu versetzen, die vom Kunden wahrgenommene Sprachqualität vorherzusagen und ihre Produkte und Services in Hinblick auf die Kundenwünsche zu optimieren.

Teilergebnisse der in Ilmenau durchgeführten Konversationstests wurden auf der DAGA 2018 präsentiert.

Konversationstest im AVT-Testlabor mit unterschiedlichen Endgeräten und einem System für definierte Hintergrundgeräusche.

Preis für P. Lebreton und A. Raake

Dr. Pierre Lebreton (früher TU Ilmenau, jetzt Zhejiang Universitiy, China) and Prof. Dr. Alexander Raake erhielten den "Award for Best Head Movement Prediction" auf der IEEE International Conference on Multimedia and Expo (ICME) 2017 in Hong Kong.

http://www.icme2017.org/

P.NATS Phase 1 - TU Ilmenau gehört zu den Siegergruppen

Building blocks of the ITU-T P.1203 model

Die Internationale Fernmeldeunion (International Telecommunication Union - Telecommunication Standardization Sector, ITU-T) hat jüngst eine Reihe von Empfehlungen unter der Bezeichnung P.1203 veröffentlicht. Diese Standards ermöglicht erstmals die Qualitätsmessung bei unterschiedlichen Streaming-Angeboten wie YouTube, Netflix etc. Das Standardisierungsmodell wurde im Rahmen eines Wettbewerbs entwickelt, der von der ITU-T Studiengruppe 12 (SG12) ausgeschrieben wurde und an dem sich sieben Unternehmen beteiligten. Das Modell trägt den Namen P.NATS (Parametric Non-intrusive Assessment of TCP-based multimedia Streaming quality) und ist in vier Modi verfügbar. Diese arbeiten auf verschiedenen Ebenen medienrelevanter Informationen und berücksichtigen unterschiedliche Arten der Verschlüsselung von Medienströmen. Die Modelle erlauben es, die Qualität der Streaming-Dienste bis zur HD-Auflösung zu beurteilen. Für die Entwicklung der Modelle wurde ein modulares Modell-Framework verwendet, welches in obiger Abbildung dargestellt ist.

Die TU Ilmenau ist in Zusammenarbeit mit der Deutschen Telekom an den Siegergruppen im Wettbewerb für alle vier Modelle beteiligt.

Referenzen:

Raake, A., Garcia, M.N., Robitza, W., List, P., Göring, S. and Feiten, B., 2017, May.
A bitstream-based, scalable video-quality model for HTTP adaptive streaming: ITU-T P. 1203.1.
In Quality of Multimedia Experience (QoMEX), 2017 Ninth International Conference on (pp. 1-6). IEEE. http://ieeexplore.ieee.org/abstract/document/7965631/

Robitza, W., Garcia, M.N. and Raake, A., 2017, May.
A modular HTTP adaptive streaming QoE model—Candidate for ITU-T P. 1203 (“P. NATS”). In Quality of Multimedia Experience (QoMEX), 2017 Ninth International Conference on (pp. 1-6). IEEE. http://ieeexplore.ieee.org/abstract/document/7965689/

Links zu den Standards:
1) [Recommendation P.1203] - https://www.itu.int/rec/T-REC-P.1203-201611-I/en
2) [P.1203.1] - https://www.itu.int/rec/T-REC-P.1203.1/en
3) [P.1203.2] - https://www.itu.int/rec/T-REC-P.1203.2/en
4) [P.1203.3] - https://www.itu.int/rec/T-REC-P.1203.3/en

Weitere Links:
1) http://newslog.itu.int/archives/1477
2) http://www.laboratories.telekom.com/public/English/Newsroom/news/Pages/Neuer-ITU-Standard.aspx

Nach oben

Gespräche mit der Landesregierung

Am 19. Juni 2017 fand in Berlin das Sommerfest der Thüringer Landesvertretung statt. Das Institut für Medientechnik war dort mit einem Stand vertreten. Während seines Rundgangs besuchte der Thüringer Ministerpräsident Bodo Ramelow den Stand und ließ sich von Prof. Brandenburg, Prof. Raake und weiteren Mitarbeitern über die Vorhaben des Instituts auf dem Gebiet der Virtual und Augmented Reality informieren. Außerdem kamen die Vertreter des IMT mit dem Thüringer Minister für Wirtschaft, Wissenschaft und Digitale Gesellschaft Wolfgang Tiefensee ins Gespräch.

Begrüßung des Ministerpräsidenten
Vorstellung von VR-Anwendungen
Gespräch mit Minister Tiefensee (Fotos: M. Döring)

QoMEX 2017

Ende Mai 2017 veranstalteten die Fachgebiete Audiovisuelle Technik (TU Ilmenau) und Assessment of IP-based Applications (TU Berlin) die internationale Tagung QoMEX 2017 in Erfurt. Thema der Konferenz waren Forschungen zur Multimedia Qualität und der Qualität des Nutzer-Erlebnisses (Quality of Experience, QoE).

Weitere Informationen finden Sie auf der Webseite: www.qomex2017.org

Buch „Quality of Experience“

Im Jahr 2014 erschien das Buch „Quality of Experience“ mit Alexander Raake als Mitherausgeber  und vielen weiteren Mitgliedern der AIPA Gruppe als Kapitel-Co-Autoren. Das Buch:

  • entwickelt die Definition von „Quality of Experience“ für Telekommunikationsservices und wendet sie in verschiedensten Feldern der Kommunikations- und Medientechnologie an
  • enthält Beispiele und Richtlinien für viele Anwendungsfelder
  • wurde von bekannten Experten dieses Feldes geschrieben und editiert

Informationen beim Springer-Verlag

Nach oben