Robotvision - Interactive curriculae of TU Ilmenau

The interactive curriculae provide information on the degree programmes offered by the TU Ilmenau.

Please refer to the respective study and examination rules and regulations for the legally binding curricula (Annex Curriculum).

You can find all details on planned lectures and classes in the course catalogue.

Please note that this page is no longer updated. All modules and study plans from PO version 2021 onwards (Bachelor and Master study programs) are now available on the Campus Portal.

module properties Robotvision in degree program Master Mechatronik 2017
module number	200087
examination number	220457
department	Department of Computer Science and Automation
ID of group	2233 (Neuroinformatics and Cognitive Robotics)
module leader	Prof. Dr. Horst-Michael Groß
term	winter term only
language	Deutsch
credit points	5
on-campus program (h)	45
self-study (h)	105
obligation	elective module
exam	examination performance with multiple performances
details of the certificate	Das Modul Robotvision mit der Prüfungsnummer 220457 schließt mit folgenden Leistungen ab: schriftliche Prüfungsleistung über 90 Minuten mit einer Wichtung von 100% (Prüfungsnummer: 2200747) Studienleistung mit einer Wichtung von 0% (Prüfungsnummer: 2200748) Details zum Abschluss Teilleistung 2: Erfolgreiche Implementierung von zwei vorgegebenen Navigationsalgorithmen im vorhandenen Navigationsframe Simulator
link to Moodle course	https://moodle.tu-ilmenau.de/course/view.php?id=27
teacher	Prof. Dr. Groß, Horst-Michael
signup details for alternative examinations
maximum number of participants
previous knowledge and experience	Kognitive Robotik
learning outcome	Im Modul "Robotvision" haben die Studierenden die Begrifflichkeiten und das Methodenspektrum des Maschinellen Sehens mit Fokus in der mobilen Robotik kennen gelernt. Sie haben das Paradigma der handlungsorientierten Wahrnehmung - insbesondere zur visuellen Roboternavigation in natürlicher Umwelt verstanden. Sie beherrschen wichtige Basisoperationen für die visuelle Wahrnehmung der Umgebung (Tiefe, Bewegung, Hindernisse, Freiraum, Räumlichkeiten, eigene Position in der Welt) und können Handlungskonsequenzen aus der visuellen Wahrnehmung der Umgebung ableiten. Sie haben Techniken der vision-basierten Umgebungswahrnehmung und der lokalen und globalen Navigation von Kognitiven Robotern in komplexer realer Einsatzumgebung kennen gelernt. Die Studierenden sind in der Lage, Fragestellungen aus dem o. g. Problemkreisen zu analysieren, durch Anwendung des behandelten Methodenspektrums Lösungskonzepte für unterschiedliche Fragestellungen der Service- und Assistenzrobotik zu entwerfen und umzusetzen, sowie bestehende Lösungskonzepte zu bewerten. Vor- und Nachteile der Komponenten und Verfahren im Kontext praktischer Anwendungen sind den Studierenden bekannt. Nach intensiven Diskussionen während der Übungen und zur Auswertung des Praktikums (Teilleistung 2) können die Studierenden Leistungen ihrer Mitkommilitonen richtig einschätzen und würdigen. Sie berücksichtigen Kritik, beherzigen Anmerkungen und nehmen Hinweise an.
content	Das Modul vermittelt das erforderliche Methodenspektrum aus theoretischen Grundkenntnissen und praktischen Fähigkeiten zum Verständnis, zur Implementierung und zur Anwendung von Verfahren der vision-basierten Roboternavigation und Objektmanipulation sowie zur erforderlichen Informations- und Wissensverarbeitung. Es vermittelt sowohl Faktenwissen, begriffliches und algorithmisches Wissen aus folgenden Themenkomplexen: Basisoperationen d. Roboternavigation Neuronale Basisoperationen der visuo-motorischen Verarbeitung - der neuronale Instruktionssatz: funktionelle und topografische Abbildungen (u.a. log-polare Abbildung), Auflösungspyramiden, neuronale Felddynamik, ortsvariante Informationsverarbeitung, geschichtete Repräsentationen Basisoperationen & Technologien für die visuelle Umgebungswahrnehmung: Detektoren & Deskriptoren für Interest-Points in 2D-Bildern Bewegungssehen und optischer Fluss Tiefenwahrnehmung, Tiefenkameras (RGB-D Kameras) Detektoren & Deskriptoren für Tiefenbilder (3D-Bilder) Visuelle Odometrie Vision-basierte Roboternavigation Hindernisvermeidung (u.a. flussbasiert, Untergrund-Segmentierung) Mapping und Selbstlokalisation Visuelles SLAM (Simultaneous Localization and Map Building inkl. ORB-SLAM und RTAB-Map) Semantisches Szenenverständnis Vision-basierte Objektmanipulation Exemplarische Software-Implementierungen von Basisoperationen Im Rahmen des Praktikums werden die behandelten methodischen und algorithmischen Grundlagen der vision-basierten Roboternavigation durch die Studierenden selbst softwaretechnisch umgesetzt und im Rahmen eines vorgefertigten Robotersimulations-Frameworks implementiert (Teilleistung 2).
media of instruction and technical requirements for education and examination in case of online participation	Präsenzvorlesung mit Powerpoint, Arbeitsblätter zur Vorlesung, Übungsaufgaben, Videos, Python Apps, e-Learning mittels "Jupyter Notebook", Moodle-Kurs
literature / references	- Hertzberg, J., Lingemann, K., Nüchter, A.: Mobile Roboter, Springer 2012 - Siegwart, R., Nourbakhsh, I. R., Scaramuzza, D.: Introduction to Autonomous Mobile Robots. MIT Press 2004 - Jähne, B. Digitale Bildverarbeitung. Springer Verlag 2005 - Bradsky, G., Kaehler, A. Learning OpenCV: Computer Vision with OpenCV Library - Siciliano, B., Khatib: O. Springer Handbook of Robotics, Springer 2016 - Thrun, S., Burgard, W., Fox, D.: Probabilistic Robotics, MIT Press 2005
evaluation of teaching