Technische Universität Ilmenau

Mensch-Maschine-Interaktion - Modultafeln der TU Ilmenau

Die Modultafeln sind ein Informationsangebot zu unseren Studiengängen. Rechtlich verbindliche Angaben zum Verlauf des Studiums entnehmen Sie bitte dem jeweiligen Studienplan (Anlage zur Studienordnung). Bitte beachten Sie diesen rechtlichen Hinweis.
Angaben zum Raum und Zeitpunkt von geplanten Lehrveranstaltungen entnehmen Sie bitte dem e-Veranstaltungskalender. Lehrveranstaltungen und Prüfungen, die nicht im e-Veranstaltungskalender abgebildet sind, werden "nach Vereinbarung" geplant. Eine Auflistung der betroffenen Veranstaltungen finden Sie hier: Lehrveranstaltungen, Prüfungen.

Modulinformationen zum Modul 200086 - allgemeine Informationen
Modulnummer200086
FakultätFakultät für Informatik und Automatisierung
Fachgebietsnummer 2233 (Neuroinformatik und Kognitive Robotik)
Modulverantwortliche(r)Prof. Dr. Horst-Michael Groß
Voraussetzungen
Lernergebnisse

Im Modul "Mensch-Maschine-Interaktion" haben sich die
Studierenden die Begrifflichkeiten und das Methodenspektrum der Mensch-Maschine
Interaktion unter Realwelt-Bedingungen angeeignet. Sie beherrschen wichtige Basisoperationen zur (vorrangig
visuellen) Wahrnehmung von Menschen und zur Erkennung von deren Intentionen und
Zuständen und kennen Techniken zur nutzeradaptiven Dialogführung. Die
Studierenden sind in der Lage, Fragestellungen aus dem o. g. Problemkreisen zu
analysieren, durch Anwendung des behandelten Methodenspektrums Lösungskonzepte
für unterschiedliche Fragestellungen der Service- und Assistenzrobotik zu
entwerfen und umzusetzen, sowie bestehende Lösungskonzepte zu bewerten. Vor-
und Nachteile der Komponenten und Verfahren im Kontext praktischer Anwendungen
sind den Studierenden bekannt. Nach
intensiven Diskussionen während der Übungen und zur Auswertung der
Python-Implementierung können die Studierenden Leistungen ihrer Mitkommilitonen
richtig einschätzen und würdigen. Sie berücksichtigen Kritik, beherzigen
Anmerkungen und nehmen Hinweise an.

Spezifik im Studiengang Master Informatik 2013, Master Ingenieurinformatik 2014
ModulnameMensch-Maschine-Interaktion
Leistungspunkte5
VerpflichtungWahlpflicht
ModulabschlussEinzelleistungen
Details zum Abschluss
Fachinformationen zu Fachnummer 200086 - allgemeine Informationen
Fachnummer200086
FakultätFakultät für Informatik und Automatisierung
Fachgebietsnummer2233 (Neuroinformatik und Kognitive Robotik)
Fachverantwortliche(r)Prof. Dr. Horst-Michael Groß
SpracheDeutsch
TurnusWintersemester
Vorkenntnisse

Pflichtmodul "Neuroinformatik und Maschinelles Lernen" und Wahlmodul "Deep Learning für Computer Vision"

Lernergebnisse

Im Modul "Mensch-Maschine-Interaktion" haben sich die Studierenden die Begrifflichkeiten und das Methodenspektrum der Mensch-Maschine Interaktion unter Realwelt-Bedingungen angeeignet. Sie beherrschen wichtige Basisoperationen zur (vorrangig visuellen) Wahrnehmung von Menschen und zur Erkennung von deren Intentionen und Zuständen und kennen Techniken zur nutzeradaptiven Dialogführung. Die Studierenden sind in der Lage, Fragestellungen aus dem o. g. Problemkreisen zu analysieren, durch Anwendung des behandelten Methodenspektrums Lösungskonzepte für unterschiedliche Fragestellungen der Service- und Assistenzrobotik zu entwerfen und umzusetzen, sowie bestehende Lösungskonzepte zu bewerten. Vor- und Nachteile der Komponenten und Verfahren im Kontext praktischer Anwendungen sind den Studierenden bekannt. Nach intensiven Diskussionen während der Übungen und zur Auswertung der Python-Implementierung können die Studierenden Leistungen ihrer Mitkommilitonen richtig einschätzen und würdigen. Sie berücksichtigen Kritik, beherzigen Anmerkungen und nehmen Hinweise an.

Inhalt

Das Modul vermittelt das erforderliche Methodenspektrum aus theoretischen Grundkenntnissen und praktischen Fähigkeiten zum Verständnis, zur Implementierung und zur Anwendung von Verfahren der Interaktion zwischen Mensch und Maschine (mit Fokus auf vision-basierten Verfahren sowie dem Einsatz auf Robotersystemen) sowie zur erforderlichen Informations- und Wissensverarbeitung. Sie ergänzt das parallel laufende Modul "Robotvision", das sich um Aspekte der Roboternavigation kümmert, um  wichtige Erkennungsverfahren der Mensch-Roboter Interaktion (HRI). Das Modul vermittelt das dazu notwendige Faktenwissen sowie begriffliches, methodisches und algorithmisches Wissen aus den folgenden Kernbereichen:

A - Ausgewählte Basisoperationen für viele Erkennungsverfahren

  • Basisoperationen der MMI im Rahmen eines Mustererkennungsprozesses
  • Leistungsbewertung von Klassifikatoren: Gütemaße; Crossvalidation-Technik; Bewertung von binären Klassifikatoren, Gütemaß ROC/Precision Recall Kurven, usw.
  • Bildaufbereitung und Bildanalyse: Beleuchtungs-/ Histogrammausgleich; Auflösungspyramiden; Lineare Subspace Methoden (HKA / PCA); Gabor-Wavelet-Funktionen (Gaborfilter) zur effizienten Bildbeschreibung;
  • Bewegungsanalyse in Videosequenzen
  • Techniken zur Repräsentation von Zeit: Dynamic Time Warping, Hidden Markov Modelle (HMMs)
  • Bayes Filtering als probabilistische Zustandsschätzer: Grundidee, Markov-Annahme, Grundprinzip des rekursiven Bayes-Filters, Bewegungs- und Sensormodell, Arten der Beliefrepräsentation in Bayes Filtern; Partikel Filter

B - Wichtige Verfahren zur Erkennung von Nutzerzustand & Nutzerintention

  • Vision-basierte Nutzerdetektion, Nutzertracking, Nutzeridentifikation
  • Zeigeposen- und Gestenerkennung
  • Erkennung von Mimik (Emotionen, Stress) und Interaktionsinteresse + aktuelle Entwicklungen
  • Multimodale Dialogsysteme: Bestandteile von Dialogsystemen; Besonderheiten multimodaler Dialogsysteme

C - Anwendungsbeispiele für Assistenzfunktionen in öffentlicher & privater Umgebung

  • Soziale Assistenzroboter für die Gesundheitsassistenz
  • Robotische Bewegungsassistenz am Beispiel Reha 

D - Gastvorlesung zur sprachbasierten MMI und zu Hidden Markov Modellen sowie deren Einsatz in der Spracherkennung, Unterschriftserkennung und Gestenerkennung

Im Rahmen der Teilleistung 2 werden ausgewählte methodische und algorithmische Grundlagen der MMI durch die Studierenden selbst softwaretechnisch umgesetzt und durch kleine Programmbeispiele vertieft. Als Programmiersprache wird Python verwendet. Für Verfahren des Maschinellen Lernens wird die scikit-Learn Toolbox verwendet.

Medienformen

Präsenzvorlesung mit Powerpoint, Arbeitsblätter zur Vorlesung, Übungsaufgaben, Videos, Python Apps, e-Learning mittels "Jupyter Notebook", Moodle-Kurs

Literatur

- Schenk, J, Rigoll, G. Mensch-Maschine-Kommunikation: Grundlagen von sprach- und bildbasierten Benutzerschnittstellen, Springer 2010

- Li, S und Jain, A.: Handbook of Face Recognition, 2004

- Bishop, Ch.: Pattern Recognition and Machine Learning, Springer 2006

- Guyon, I., Gunn, S., Nikravesh, M., Zadeh, L.: Feature Extraction: Foundations and Applications, Studies in fuzziness and soft computing 207, Springer, 2006

- Maltoni, D., et al.: Biometric Fusion, Handbook of Fingerprint Recognition, Kapitel 7, Springer, 2009

Lehrevaluation
Spezifik Referenzfach
FachnameMensch-Maschine-Interaktion
Prüfungsnummer
Leistungspunkte5
SWS
Präsenzstudium (h)45
Selbststudium (h)105
VerpflichtungWahlpflicht
AbschlussPrüfungsleistung mit mehreren Teilleistungen
Details zum AbschlussDas Modul Mensch-Maschine-Interaktion mit der Prüfungsnummer 220456 schließt mit folgenden Leistungen ab:
  • schriftliche Prüfungsleistung über 90 Minuten mit einer Wichtung von 100% (Prüfungsnummer: 2200745)
  • alternativ semesterbegleitende Studienleistung mit einer Wichtung von 0% (Prüfungsnummer: 2200746)


Details zum Abschluss Teilleistung 2:

eigene Python-Implementierungen von vorgegebenen Algorithmen und Übungsaufgaben

Anmeldemodalitäten für alternative PL oder SL
max. Teilnehmerzahl
Spezifik im Studiengang Master Informatik 2013, Master Ingenieurinformatik 2014
FachnameMensch-Maschine-Interaktion
Prüfungsnummer220456
Leistungspunkte5
Präsenzstudium (h)45
Selbststudium (h)105
VerpflichtungWahlpflicht
AbschlussPrüfungsleistung mit mehreren Teilleistungen
Details zum AbschlussDas Modul Mensch-Maschine-Interaktion mit der Prüfungsnummer 220456 schließt mit folgenden Leistungen ab:
  • schriftliche Prüfungsleistung über 90 Minuten mit einer Wichtung von 100% (Prüfungsnummer: 2200745)
  • alternativ semesterbegleitende Studienleistung mit einer Wichtung von 0% (Prüfungsnummer: 2200746)


Details zum Abschluss Teilleistung 2:

eigene Python-Implementierungen von vorgegebenen Algorithmen und Übungsaufgaben

Anmeldemodalitäten für alternative PL oder SL
max. Teilnehmerzahl

Informationen und Handreichungen zur Pflege von Modul- und Fachbeschreibungen durch den Modul- oder Fachverantwortlichen finden Sie auf den Infoseiten zum Modulkatalog.