Technische Universität Ilmenau

Robotvision - Modultafeln of TU Ilmenau

The Modultafeln have a pure informational character. The legally binding information can be found in the corresponding Studienplan and Modulhandbuch, which are served on the pages of the course offers. Please also pay attention to this legal advice (german only). Information on place and time of the actual lectures is served in the Vorlesungsverzeichnis.

subject properties subject number 183 - common information
subject number183
departmentDepartment of Computer Science and Automation
ID of group2233 (Group for Neuroinformatics and Cognitive Robotics)
subject leaderProf. Dr. Horst-Michael Groß
languageDeutsch
term Wintersemester
previous knowledge and experience

LV Neuroinformatik

learning outcome

In der Vorlesung Robotvision lernen die Studierenden die Begrifflichkeiten und das Methodenspektrum des Maschinellen Sehens mit Fokus in der mobilen Robotik kennen. Sie verstehen das Paradigma der handlungsorientierten Wahrnehmung - insbesondere zur visuellen Roboternavigation in natürlicher Umwelt. Sie beherrschen wichtige Basisoperationen für die visuelle Wahrnehmung der Umgebung (Tiefe, Bewegung, Hindernisse, Freiraum, Räumlichkeiten, eigene Position in der Welt) und können Handlungskonsequenzen aus der visuellen Wahrnehmung der Umgebung ableiten. Sie kennen Techniken der vision-basierten Umgebungswahrnehmung und der lokalen und globalen Navigation von Kognitiven Robotern in komplexer realer Einsatzumgebung.

Die Studierenden sind in der Lage, Fragestellungen aus dem o. g. Problemkreisen zu analysieren, durch Anwendung des behandelten Methodenspektrums Lösungskonzepte für unterschiedliche Fragestellungen der Service- und Assistenzrobotik zu entwerfen und umzusetzen, sowie bestehende Lösungskonzepte zu bewerten. Vor- und Nachteile der Komponenten und Verfahren im Kontext praktischer Anwendungen sind den Studierenden bekannt.

content

Die Lehrveranstaltung vermittelt das erforderliche Methodenspektrum aus theoretischen Grundkenntnissen und praktischen Fähigkeiten zum Verständnis, zur Implementierung und zur Anwendung von Verfahren der vision-basierten Roboternavigation sowie zur erforderlichen Informations- und Wissensverarbeitung. Sie vermittelt sowohl Faktenwissen, begriffliches und algorithmisches Wissen aus folgenden Themenkomplexen:

  • Basisoperationen d. Roboternavigation
  • Neuronale Basisoperationen der visuo-motorischen Verarbeitung – der neuronale Instruktionssatz: funktionelle und topografische Abbildungen (u.a. log-polare Abbildung), Auflösungspyramiden, neuronale Felddynamik, ortsvariante Informationsverarbeitung
  • Basisoperationen & Technologien für die visuelle Umgebungswahrnehmung:
    • Detektoren & Deskriptoren für Interest-Points in 2D-Bildern
    • Bewegungssehen und optischer Fluss
    • Tiefenwahrnehmung, Tiefenkameras (RGB-D Kameras)
    • Detektoren & Deskriptoren für Tiefenbilder (3D-Bilder)
    • Visuelle Odometrie
  • Vision-basierte Roboternavigation
    • Hindernisvermeidung (u.a. flussbasiert, Untergrund-Segmentierung)
    • Mapping und Selbstlokalisation
    • Visuelles SLAM (Simultaneous Localization and Map Building inkl. ORB-SLAM)
  • Innovative Entwicklungen (z.B. Semantisches Labeln)
  • Exemplarische Software-Implementierungen von Basisoperationen

Im Rahmen des Pflichtpraktikums werden die behandelten methodischen und algorithmischen Grundlagen der vision-basierten Roboternavigation durch die Studierenden selbst softwaretechnisch umgesetzt und im Rahmen eines vorgefertigten Robotersimulations-Frameworks implementiert.

media of instruction

Präsenzvorlesung mit Powerpoint, Arbeitsblätter zur Vorlesung, Übungsaufgaben, Videos, Python Apps, e-Learning mittels „Jupyter Notebook“

literature / references

- Hertzberg, J., Lingemann, K., Nüchter, A.: Mobile Roboter, Springer 2012 - Siegwart, R., Nourbakhsh, I. R., Scaramuzza, D.: Introduction to Autonomous Mobile Robots. MIT Press 2004 - Jähne, B. Digitale Bildverarbeitung. Springer Verlag 2005 - Bradsky, G., Kaehler, A. Learning OpenCV: Computer Vision with OpenCV Library

- Siciliano, B., Khatib: O. Springer Handbook of Robotics, Springer 2016

- Thrun, S., Burgard, W., Fox, D.: Probabilistic Robotics, MIT Press 2005

 

evaluation of teaching

Pflichtevaluation:

WS 2009/10 (Fach)

WS 2014/15 (Fach)

Freiwillige Evaluation:

WS 2008/09 (Vorlesung)

WS 2010/11 (Vorlesung)

WS 2011/12 (Vorlesung)

WS 2012/13 (Vorlesung)

WS 2013/14 (Vorlesung)

WS 2015/16 (Vorlesung)

WS 2016/17 (Vorlesung)

WS 2017/18 (Vorlesung)

Hospitation:

Details in major Master Biomedizinische Technik 2014
subject nameRobotvision
examination number2200518
credit points4
on-campus program (h)34
self-study (h)86
Obligationobligatory elective
examalternative pass-fail certificate
details of the certificate

Die Leistung besteht aus einer schriftlichen Klausur (60 min) und der nachgewiesenen Akltivübung.

Signup details for alternative examinations

Pflichtevaluation:


WS 2009/10 (Fach)


WS 2014/15 (Fach)


Freiwillige Evaluation:


WS 2008/09 (Vorlesung)


WS 2010/11 (Vorlesung)


WS 2011/12 (Vorlesung)


WS 2012/13 (Vorlesung)


WS 2013/14 (Vorlesung)


WS 2015/16 (Vorlesung)


WS 2016/17 (Vorlesung)


WS 2017/18 (Vorlesung)


Hospitation:

maximum number of participants
Details in major Master Ingenieurinformatik 2009, Master Informatik 2013, Master Ingenieurinformatik 2014, Master Technische Kybernetik und Systemtheorie 2014, Master Biomedizinische Technik 2014
subject nameRobotvision
examination number2200446
credit points
on-campus program (h)
self-study (h)
Obligationobligatory
examnone
details of the certificate

Die Leistung besteht aus einer schriftlichen Klausur (60 min) und der nachgewiesenen Akltivübung.

Signup details for alternative examinations

Pflichtevaluation:


WS 2009/10 (Fach)


WS 2014/15 (Fach)


Freiwillige Evaluation:


WS 2008/09 (Vorlesung)


WS 2010/11 (Vorlesung)


WS 2011/12 (Vorlesung)


WS 2012/13 (Vorlesung)


WS 2013/14 (Vorlesung)


WS 2015/16 (Vorlesung)


WS 2016/17 (Vorlesung)


WS 2017/18 (Vorlesung)


Hospitation:

maximum number of participants
Details in major Master Informatik 2009
subject nameRobotvision
examination number2200099
credit points4
on-campus program (h)22
self-study (h)98
Obligationobligatory elective
examalternative examination performance, 20 minutes
details of the certificate

Die Leistung besteht aus einer schriftlichen Klausur (60 min) und der nachgewiesenen Akltivübung.

Signup details for alternative examinations

Pflichtevaluation:


WS 2009/10 (Fach)


WS 2014/15 (Fach)


Freiwillige Evaluation:


WS 2008/09 (Vorlesung)


WS 2010/11 (Vorlesung)


WS 2011/12 (Vorlesung)


WS 2012/13 (Vorlesung)


WS 2013/14 (Vorlesung)


WS 2015/16 (Vorlesung)


WS 2016/17 (Vorlesung)


WS 2017/18 (Vorlesung)


Hospitation:

maximum number of participants