Technische Universität Ilmenau

Mensch-Maschine-Interaktion - Modultafeln der TU Ilmenau

Die Modultafeln sind ein Informationsangebot zu den Studiengängen der TU Ilmenau.

Die rechtsverbindlichen Studienpläne entnehmen Sie bitte den jeweiligen Studien- und Prüfungsordnungen (Anlage Studienplan).

Alle Angaben zu geplanten Lehrveranstaltungen finden Sie im elektronischen Vorlesungsverzeichnis.

Informationen und Handreichungen zur Pflege von Modulbeschreibungen durch die Modulverantwortlichen finden Sie unter Modulpflege.

Hinweise zu fehlenden oder fehlerhaften Modulbeschreibungen senden Sie bitte direkt an modulkatalog@tu-ilmenau.de.

Modulinformationen zu Modulnummer 200086 - allgemeine Informationen
Modulnummer200086
FakultätFakultät für Informatik und Automatisierung
Fachgebietsnummer2233 (Neuroinformatik und Kognitive Robotik)
Modulverantwortliche(r)Prof. Dr. Horst-Michael Groß
SpracheDeutsch
TurnusWintersemester
Vorkenntnisse

Pflichtmodul "Neuroinformatik und Maschinelles Lernen" und Wahlmodul "Deep Learning für Computer Vision"

Lernergebnisse und erworbene Kompetenzen

Im Modul "Mensch-Maschine-Interaktion" haben sich die Studierenden die Begrifflichkeiten und das Methodenspektrum der Mensch-Maschine Interaktion unter Realwelt-Bedingungen angeeignet. Sie beherrschen wichtige Basisoperationen zur (vorrangig visuellen) Wahrnehmung von Menschen und zur Erkennung von deren Intentionen und Zuständen und kennen Techniken zur nutzeradaptiven Dialogführung. Die Studierenden sind in der Lage, Fragestellungen aus dem o. g. Problemkreisen zu analysieren, durch Anwendung des behandelten Methodenspektrums Lösungskonzepte für unterschiedliche Fragestellungen der Service- und Assistenzrobotik zu entwerfen und umzusetzen, sowie bestehende Lösungskonzepte zu bewerten. Vor- und Nachteile der Komponenten und Verfahren im Kontext praktischer Anwendungen sind den Studierenden bekannt. Nach intensiven Diskussionen während der Übungen und zur Auswertung der Python-Implementierung können die Studierenden Leistungen ihrer Mitkommilitonen richtig einschätzen und würdigen. Sie berücksichtigen Kritik, beherzigen Anmerkungen und nehmen Hinweise an.

Inhalt

Das Modul vermittelt das erforderliche Methodenspektrum aus theoretischen Grundkenntnissen und praktischen Fähigkeiten zum Verständnis, zur Implementierung und zur Anwendung von Verfahren der Interaktion zwischen Mensch und Maschine (mit Fokus auf vision-basierten Verfahren sowie dem Einsatz auf Robotersystemen) sowie zur erforderlichen Informations- und Wissensverarbeitung. Sie ergänzt das parallel laufende Modul "Robotvision", das sich um Aspekte der Roboternavigation kümmert, um  wichtige Erkennungsverfahren der Mensch-Roboter Interaktion (HRI). Das Modul vermittelt das dazu notwendige Faktenwissen sowie begriffliches, methodisches und algorithmisches Wissen aus den folgenden Kernbereichen:

A - Ausgewählte Basisoperationen für viele Erkennungsverfahren

  • Basisoperationen der MMI im Rahmen eines Mustererkennungsprozesses
  • Leistungsbewertung von Klassifikatoren: Gütemaße; Crossvalidation-Technik; Bewertung von binären Klassifikatoren, Gütemaß ROC/Precision Recall Kurven, usw.
  • Bildaufbereitung und Bildanalyse: Beleuchtungs-/ Histogrammausgleich; Auflösungspyramiden; Lineare Subspace Methoden (HKA / PCA); Gabor-Wavelet-Funktionen (Gaborfilter) zur effizienten Bildbeschreibung;
  • Bewegungsanalyse in Videosequenzen
  • Techniken zur Repräsentation von Zeit: Dynamic Time Warping, Hidden Markov Modelle (HMMs)
  • Bayes Filtering als probabilistische Zustandsschätzer: Grundidee, Markov-Annahme, Grundprinzip des rekursiven Bayes-Filters, Bewegungs- und Sensormodell, Arten der Beliefrepräsentation in Bayes Filtern; Partikel Filter

B - Wichtige Verfahren zur Erkennung von Nutzerzustand & Nutzerintention

  • Vision-basierte Nutzerdetektion, Nutzertracking, Nutzeridentifikation
  • Zeigeposen- und Gestenerkennung
  • Erkennung von Mimik (Emotionen, Stress) und Interaktionsinteresse + aktuelle Entwicklungen
  • Multimodale Dialogsysteme: Bestandteile von Dialogsystemen; Besonderheiten multimodaler Dialogsysteme

C - Anwendungsbeispiele für Assistenzfunktionen in öffentlicher & privater Umgebung

  • Soziale Assistenzroboter für die Gesundheitsassistenz
  • Robotische Bewegungsassistenz am Beispiel Reha 

D - Gastvorlesung zur sprachbasierten MMI und zu Hidden Markov Modellen sowie deren Einsatz in der Spracherkennung, Unterschriftserkennung und Gestenerkennung

Im Rahmen der Teilleistung 2 werden ausgewählte methodische und algorithmische Grundlagen der MMI durch die Studierenden selbst softwaretechnisch umgesetzt und durch kleine Programmbeispiele vertieft. Neben den Progrmmbeispielen werden etische, soziale und rechtliche Aspekte beim Einsatz von Techniken der videobasierten Mensch-Maschine-Interaktion im Allgemeinen sowie wesentliche datenschutzrechtliche Randbedingungen diskutiert. Als Programmiersprache wird Python verwendet. Für Verfahren des Maschinellen Lernens wird die scikit-Learn Toolbox verwendet.

 

https://moodle2.tu-ilmenau.de/course/view.php?id=3745

Medienformen

Präsenzvorlesung mit Powerpoint, Arbeitsblätter zur Vorlesung, Übungsaufgaben, Videos, Python Apps, e-Learning mittels "Jupyter Notebook", Moodle-Kurs

Link zum Moodle-Kurs

https://moodle2.tu-ilmenau.de/course/view.php?id=3745

 

Literatur

- Schenk, J, Rigoll, G. Mensch-Maschine-Kommunikation: Grundlagen von sprach- und bildbasierten Benutzerschnittstellen, Springer 2010

- Li, S und Jain, A.: Handbook of Face Recognition, 2004

- Bishop, Ch.: Pattern Recognition and Machine Learning, Springer 2006

- Guyon, I., Gunn, S., Nikravesh, M., Zadeh, L.: Feature Extraction: Foundations and Applications, Studies in fuzziness and soft computing 207, Springer, 2006

- Maltoni, D., et al.: Biometric Fusion, Handbook of Fingerprint Recognition, Kapitel 7, Springer, 2009

 

Lehrevaluation
Spezifik Referenzmodul
ModulnameMensch-Maschine-Interaktion
Prüfungsnummer220456
Leistungspunkte5
SWS4 (2 V, 1 Ü, 1 P)
Präsenzstudium (h)45
Selbststudium (h)105
VerpflichtungPflichtmodul
AbschlussPrüfungsleistung mit mehreren Teilleistungen
Details zum AbschlussDas Modul Mensch-Maschine-Interaktion mit der Prüfungsnummer 220456 schließt mit folgenden Leistungen ab:
  • schriftliche Prüfungsleistung über 90 Minuten mit einer Wichtung von 100% (Prüfungsnummer: 2200745)
  • alternative semesterbegleitende Studienleistung mit einer Wichtung von 0% (Prüfungsnummer: 2200746)


Details zum Abschluss Teilleistung 2:

eigene Python-Implementierungen von vorgegebenen Algorithmen und Übungsaufgaben

Anmeldemodalitäten für alternative PL oder SL
max. Teilnehmerzahl
Spezifik im Studiengang Master Informatik 2013, Master Ingenieurinformatik 2014, Master Medientechnologie 2017, Master Biomedizinische Technik 2021, Master Informatik 2021, Master Technische Kybernetik und Systemtheorie 2021, Master Ingenieurinformatik 2021
ModulnameMensch-Maschine-Interaktion
Prüfungsnummer220456
Leistungspunkte5
Präsenzstudium (h)45
Selbststudium (h)105
VerpflichtungWahlmodul
AbschlussPrüfungsleistung mit mehreren Teilleistungen
Details zum AbschlussDas Modul Mensch-Maschine-Interaktion mit der Prüfungsnummer 220456 schließt mit folgenden Leistungen ab:
  • schriftliche Prüfungsleistung über 90 Minuten mit einer Wichtung von 100% (Prüfungsnummer: 2200745)
  • alternative semesterbegleitende Studienleistung mit einer Wichtung von 0% (Prüfungsnummer: 2200746)


Details zum Abschluss Teilleistung 2:

eigene Python-Implementierungen von vorgegebenen Algorithmen und Übungsaufgaben

Anmeldemodalitäten für alternative PL oder SL
max. Teilnehmerzahl