Technische Universität Ilmenau

Mulitmodal Human-Machine Communication - Modultafeln of TU Ilmenau

The Modultafeln have a pure informational character. The legally binding information can be found in the corresponding Studienplan and Modulhandbuch, which are served on the pages of the course offers. Please also pay attention to this legal advice (german only). Information on place and time of the actual lectures is served in the Vorlesungsverzeichnis.

subject properties Mulitmodal Human-Machine Communication in major Master Informatik 2009
ATTENTION: not offered anymore
subject number184
examination number2200103
departmentDepartment of Computer Science and Automation
ID of group 2233 (Group for Neuroinformatics and Cognitive Robotics)
subject leaderProf. Dr. Horst-Michael Groß
term Wintersemester
languageDeutsch
credit points3
on-campus program (h)22
self-study (h)68
Obligationobligatory elective
examwritten examination performance, 60 minutes
details of the certificate
Signup details for alternative examinations
maximum number of participants
previous knowledge and experience

Neuroinformatik

learning outcome

In der Vorlesung Mensch-Maschine-Interaktion lernen die Studierenden die Begrifflichkeiten und das Methodenspektrum der Mensch-Maschine Interaktion unter Realwelt-Bedingungen kennen. Sie beherrschen wichtige Basisoperationen zur (vorrangig visuellen) Wahrnehmung von Menschen und zur Erkennung von deren Intentionen und Zuständen und kennen Techniken zur nutzeradaptiven Dialogführung. Die Studierenden sind in der Lage, Fragestellungen aus dem o. g. Problemkreisen zu analysieren, durch Anwendung des behandelten Methodenspektrums Lösungskonzepte für unterschiedliche Fragestellungen der Service- und Assistenzrobotik zu entwerfen und umzusetzen, sowie bestehende Lösungskonzepte zu bewerten. Vor- und Nachteile der Komponenten und Verfahren im Kontext praktischer Anwendungen sind den Studierenden bekannt.

content

Die Lehrveranstaltung vermittelt das erforderliche Methodenspektrum aus theoretischen Grundkenntnissen und praktischen Fähigkeiten zum Verständnis, zur Implementierung und zur Anwendung von Verfahren der Interaktion zwischen Mensch und Maschine (mit Fokus auf vision-basierten Verfahren sowie dem Einsatz auf Robotersystemen) sowie zur erforderlichen Informations- und Wissensverarbeitung. Sie ergänzt die parallel laufende Vorlesung „Robotvision”, die sich um Aspekte der Roboternavigation kümmert, um wichtige Erkennungsverfahren der Mensch-Roboter Interaktion (HRI). Die Lehrveranstaltung vermittelt das dazu notwendige Faktenwissen sowie begriffliches, methodisches und algorithmisches Wissen aus den folgenden Kernbereichen:

A – Ausgewählte Basisoperationen für viele Erkennungsverfahren

  • Basisoperationen der MMI im Rahmen eines Mustererkennungsprozesses
  • Leistungsbewertung von Klassifikatoren: Gütemaße; Crossvalidation-Technik; Bewertung von binären Klassifikatoren, Gütemaß ROC/Precision Recall Kurven, usw.
  • Bildaufbereitung und Bildanalyse: Beleuchtungs- / Histogrammausgleich; Auflösungspyramiden; Lineare Subspace Methoden (HKA / PCA); Gabor-Wavelet-Funktionen (Gaborfilter) zur effizienten Bildbeschreibung;
  • Bewegungsanalyse in Videosequenzen
  • Techniken zur Repräsentation von Zeit: Dynamic Time Warping, Hidden Markov Modelle (HMMs)
  • Bayes Filtering als probabilistische Zustandsschätzer: Grundidee, Markov-Annahme, Grundprinzip des rekursiven Bayes-Filters, Bewegungs- und Sensormodell, Arten der Beliefrepräsentation in Bayes Filtern; Partikel Filter

B – Wichtige Verfahren zur Erkennung von Nutzerzustand & Nutzerintention

  • Vision-basierte Nutzerdetektion, Nutzertracking, Nutzeridentifikation
  • Zeigeposen- und Gestenerkennung
  • Erkennung von Mimik (Emotionen, Stress) und Interaktionsinteresse + aktuelle Entwicklungen
  • Sprachbasierte Mensch-Maschine Kommunikation: sprachbasierte Erkennung von Nutzerinstruktionen und Nutzerzustand (Kommandowort- und Spracherkennung, Prosodieerkennung);
  • Multimodale Dialogsysteme: Bestandteile von Dialogsystemen; Besonderheiten multimodaler Dialogsysteme

C – Anwendungsbeispiele für Assistenzfunktionen in öffentlicher & privater Umgebung

  • Soziale Assistenzroboter für die Gesundheitsassistenz
  • Robotische Bewegungsassistenz am Beispiel Reha l
  • Sturzdetektion im häuslichen Umfeld

D – Gastvorlesung zur sprachbasierten MMI und zu Hidden Markov Modellen sowie deren Einsatz in der Spracherkennung, Unterschriftserkennung und Gestenerkennung

Im Rahmen des Aktivpraktikums werden ausgewählte methodische und algorithmische Grundlagen der MMI durch die Studierenden selbst softwaretechnisch umgesetzt und durch kleine Programmbeispiele vertieft. Als Programmiersprache wird Python verwendet. Für Verfahren des Maschinellen Lernens wird die scikit-Learn Toolbox verwendet.

media of instruction

Präsenzvorlesung mit Powerpoint, Arbeitsblätter zur Vorlesung, Übungsaufgaben, Videos, Python Apps, e-Learning mittels „Jupyter Notebook”

 

literature / references

- Schenk, J, Rigoll, G. Mensch-Maschine-Kommunikation: Grundlagen von sprach- und bildbasierten Benutzerschnittstellen, Springer 2010

- Li, S und Jain, A.: Handbook of Face Recognition, 2004

- Bishop, Ch.: Pattern Recognition and Machine Learning, Springer 2006

- Guyon, I., Gunn, S., Nikravesh, M., Zadeh, L.: Feature Extraction: Foundations and Applications, Studies in fuzziness and soft computing 207, Springer, 2006

- Maltoni, D., et al.: Biometric Fusion, Handbook of Fingerprint Recognition, Kapitel 7, Springer, 2009

evaluation of teaching

Pflichtevaluation:

Freiwillige Evaluation:

WS 2008/09 (Vorlesung)

WS 2009/10 (Vorlesung)

WS 2010/11 (Vorlesung)

WS 2011/12 (Vorlesung)

WS 2012/13 (Vorlesung, Seminar)

WS 2013/2014 (Vorlesung)

Hospitation: