Technische Universität Ilmenau

Learning in Cognitve Systems - Modultafeln of TU Ilmenau

The Modultafeln have a pure informational character. The legally binding information can be found in the corresponding Studienplan and Modulhandbuch, which are served on the pages of the course offers. Please also pay attention to this legal advice (german only).
Information on the room and time of planned courses can be found in the e-calendar of events. Courses and examinations that are not listed in the e-calendar of events are planned "by appointment". A list of the events concerned can be found here: courses, examinations.

subject properties subject number 182 - common information
subject number182
departmentDepartment of Computer Science and Automation
ID of group2233 (Group for Neuroinformatics and Cognitive Robotics)
subject leaderProf. Dr. Horst-Michael Groß
languageDeutsch
term Sommersemester
previous knowledge and experience

LV Neuroinformatik LV Angewandte NI

learning outcome

In der Vorlesung "Lernen in Kognitiven Systemen" lernen die Studierenden aufbauend auf der Vorlesung „Neuroinformatik und Maschinelles Lernen” die konzeptionellen, methodischen und algorithmischen Grundlagen des Maschinellen Lernens zum Erwerb komplexer Verhaltensleistungen in kognitiven Systemen (Autonome Systeme, Roboter, Prozessteuerungen, Spiele) durch Lernen aus Erfahrungen kennen. Sie verstehen die grundsätzliche Herangehensweise dieser Form des Wissenserwerbs, der Generierung von handlungsorientiertem Wissen aus Beobachtungen und Erfahrungen. Die Studierenden lernen die wesentlichen Konzepte, Lösungsansätze sowie Modellierungs- und Implementierungstechniken beim Einsatz von Verfahren des Reinforcement Learnings und dessen Spielarten kennen. Sie sind in der Lage, praxisorientierte Fragestellungen aus dem o. g. Problemkreis zu analysieren, durch Anwendung des behandelten Methodenspektrums auf Fragestellungen aus den behandelten Bereichen neue Lösungskonzepte zu entwerfen und algorithmisch umzusetzen sowie bestehende Lösungen zu bewerten. Vor- und Nachteile der Komponenten und Verfahren im Kontext praktischer Anwendungen sind den Studierenden bekannt.

content

Die Lehrveranstaltung vermittelt das erforderliche Methodenspektrum aus theoretischen Grundkenntnissen und praktischen Fähigkeiten zum Verständnis, zur Implementierung und zur Anwendung neuronaler und probabilistischer Techniken des Erwerbs von Handlungswissen durch Lernen aus evaluativ bewerteten Erfahrungsbeispielen. Sie vermittelt sowohl Faktenwissen, begriffliches und algorithmisches Wissen aus folgenden Themenkomplexen:

  • Begriffliche Grundlagen: Verhalten; Agent; Zweck und Bedeutung von Lernprozessen; Stability-Plasticity Dilemma; Exploration-Exploitation Dilemma
  • Reinforcement Learning (RL): Grundidee des RL; General RL-Task; Schwache und starke RL-Verfahren, RL als Markov Decision Process (MDP); Basiskomponenten eines RL-Agenten; Value/Action-Value Iteration und das Bellman´sche Optimalitätsprinzip; Q-Learning, Boltzmann-Aktionsauswahl; SARSA-Learning; On-policy und off-policy Verfahren; Eligibility Traces; RL und teilweise Beobachtbarkeit; Lösungsansätze zur Behandlung von POMDP
  • Neuronale Umsetzung von RL-Agenten: Value Approximation am Beispiel TD-Gammon; NFQ-Verfahren; ADHDP-Verfahren; Grundidee von Policy Search Algorithmen
  • Deep Reinforcement Learning (DRL) als Form des End-to-End Learnings: Atari Deep RL; AlphaGo
  • Learning Classifier Systems (LCS)
  • Imitation Learning
  • Multi-Agenten Systeme (MAS); Motivation und Arten von Multi-Agentensystemen; Konzepte zur Koordinierung von Agenten; Koordination mittels W-Lernen
  • Exemplarische Software-Implementierungen von RL-Verfahren für Navigationsaufgaben, Spiele, Prozesssteuerungen

 

Im Rahmen des Pflichtpraktikums sollen in C++ oder Python eigene Plugins zur Anwendung des Reinforcement Learnings am Beispiel der Roboternavigation im Simulator erstellt und experimentell untersucht werden.

 

media of instruction

Präsenzvorlesung mit Powerpoint, Arbeitsblätter zur Vorlesung, Übungsaufgaben, Videos, Python Apps, studentische Demo-Programme, e-Learning mittels „Jupyter Notebook”

literature / references

- Sutton, R., Barto, A. Reinforcement Learning – An Introduction. MIT Press 1998

- Bishop, Ch.: Pattern Recognition and Machine Learning, Springer 2006

- Alpaydin, Ethem: Maschinelles Lernen, Oldenbourg Verlag 2008

- Murphy, K. : Machine Learning – A Probabilistic Perspective, MIT Press 2012

- Goodfellow, I. et al.: Deep Learning, MIT Press 2016

evaluation of teaching

Pflichtevaluation:

Freiwillige Evaluation:

SS 2010 (Vorlesung)

SS 2011 (Vorlesung)

SS 2012 (Vorlesung)

SS 2014 (Vorlesung)

SS 2015 (Vorlesung)

SS 2016 (Vorlesung)

SS 2018 (Vorlesung, Übung)

SS 2019 (Vorlesung, Übung)

Hospitation:

Details in major Master Biomedizinische Technik 2014
subject nameLearning in Cognitve Systems
examination number2200516
credit points4
on-campus program (h)34
self-study (h)86
Obligationobligatory elective
examalternative pass-fail certificate
details of the certificate

90% Klausur 60 min + 10% Implementierung

Signup details for alternative examinations

Pflichtevaluation:


Freiwillige Evaluation:


SS 2010 (Vorlesung)


SS 2011 (Vorlesung)


SS 2012 (Vorlesung)


SS 2014 (Vorlesung)


SS 2015 (Vorlesung)


SS 2016 (Vorlesung)


SS 2018 (Vorlesung, Übung)


SS 2019 (Vorlesung, Übung)


Hospitation:

maximum number of participants
Details in major Master Informatik 2009, Master Ingenieurinformatik 2009, Master Informatik 2013, Master Ingenieurinformatik 2014, Master Technische Kybernetik und Systemtheorie 2014, Master Biomedizinische Technik 2014
subject nameLearning in Cognitve Systems
examination number2200443
credit points
on-campus program (h)
self-study (h)
Obligationobligatory
examnone
details of the certificate

mPL 30 min, im Modul kognitive Robotik

Signup details for alternative examinations

Pflichtevaluation:


Freiwillige Evaluation:


SS 2010 (Vorlesung)


SS 2011 (Vorlesung)


SS 2012 (Vorlesung)


SS 2014 (Vorlesung)


SS 2015 (Vorlesung)


SS 2016 (Vorlesung)


SS 2018 (Vorlesung, Übung)


SS 2019 (Vorlesung, Übung)


Hospitation:

maximum number of participants
Details in major Master Informatik 2009
subject nameLearning in Cognitve Systems
examination number2200098
credit points3
on-campus program (h)22
self-study (h)68
Obligationobligatory elective
examalternative examination performance
details of the certificate

90% Klausur 60 min + 10% Implementierung

Signup details for alternative examinations

Pflichtevaluation:


Freiwillige Evaluation:


SS 2010 (Vorlesung)


SS 2011 (Vorlesung)


SS 2012 (Vorlesung)


SS 2014 (Vorlesung)


SS 2015 (Vorlesung)


SS 2016 (Vorlesung)


SS 2018 (Vorlesung, Übung)


SS 2019 (Vorlesung, Übung)


Hospitation:

maximum number of participants