Technische Universität Ilmenau

Lernen in kognitiven Systemen - Modultafeln der TU Ilmenau

Die Modultafeln sind ein Informationsangebot zu den Studiengängen der TU Ilmenau.

Die rechtsverbindlichen Studienpläne entnehmen Sie bitte den jeweiligen Studien- und Prüfungsordnungen (Anlage Studienplan).

Alle Angaben zu geplanten Lehrveranstaltungen finden Sie im elektronischen Vorlesungsverzeichnis.

Informationen und Handreichungen zur Pflege von Modulbeschreibungen durch die Modulverantwortlichen finden Sie unter Modulpflege.

Hinweise zu fehlenden oder fehlerhaften Modulbeschreibungen senden Sie bitte direkt an modulkatalog@tu-ilmenau.de.

Modulinformationen zu Modulnummer 200085 - allgemeine Informationen
Modulnummer200085
FakultätFakultät für Informatik und Automatisierung
Fachgebietsnummer2233 (Neuroinformatik und Kognitive Robotik)
Modulverantwortliche(r)Prof. Dr. Horst-Michael Groß
SpracheDeutsch
TurnusSommersemester
Vorkenntnisse

Pflichtmodul "Neuroinformatik und Maschinelles Lernen", Wahlmodul "Deep Learning für Computer Vision"

Lernergebnisse und erworbene Kompetenzen

Im Wahlmodul "Lernen in Kognitiven Systemen" haben die Studierenden aufbauend auf den Modulen "Neuroinformatik und Maschinelles Lernen" und "Deep Learning für Computer Vision" die konzeptionellen, methodischen und algorithmischen Grundlagen des Maschinellen Lernens zum Erwerb komplexer Verhaltensleistungen in kognitiven Systemen (Autonome Systeme, Roboter, Prozessteuerungen, Spiele) durch Lernen aus Erfahrungen verstanden. Sie verfügen über Kenntnisse zur  grundsätzlichen Herangehensweise dieser Form des Wissenserwerbs und zur Generierung von handlungsorientiertem Wissen aus Beobachtungen und Erfahrungen. Die Studierenden haben sich die wesentlichen Konzepte, Lösungsansätze sowie Modellierungs- und  Implementierungstechniken beim Einsatz von Verfahren des Reinforcement Learnings und dessen Spielarten angeeignet. Sie sind in der Lage, praxisorientierte Fragestellungen aus dem o. g. Problemkreis zu analysieren, durch Anwendung des behandelten Methodenspektrums auf Fragestellungen aus den behandelten Bereichen neue Lösungskonzepte zu entwerfen und algorithmisch umzusetzen sowie bestehende Lösungen zu bewerten. Vor- und Nachteile der Komponenten und Verfahren im Kontext praktischer Anwendungen sind den Studierenden bekannt. Nach intensiven Diskussionen während der Übungen und zur Auswertung der Python-Implementierung (Teilleistung 2) können die Studierenden Leistungen ihrer Mitkommilitonen richtig einschätzen und würdigen. Sie berücksichtigen Kritik, beherzigen Anmerkungen und nehmen Hinweise an.

Inhalt

Das Modul vermittelt das erforderliche Methodenspektrum aus theoretischen Grundkenntnissen und praktischen Fähigkeiten zum Verständnis, zur Implementierung und zur Anwendung neuronaler und probabilistischer Techniken des Erwerbs von Handlungswissen durch Lernen aus evaluativ bewerteten Erfahrungsbeispielen. Sie vermittelt sowohl Faktenwissen, begriffliches und algorithmisches Wissen aus folgenden Themenkomplexen:

  • Begriffliche Grundlagen: Verhalten; Agent; Zweck und Bedeutung von Lernprozessen; Stability-Plasticity Dilemma; Exploration-Exploitation Dilemma
  • Reinforcement Learning (RL): Grundidee des RL; General RL-Task; Schwache und starke RL-Verfahren, RL als Markov Decision Process (MDP); Basiskomponenten eines RL-Agenten; Value/Action-Value Iteration und das Bellman´sche Optimalitätsprinzip;  Q-Learning, Boltzmann-Aktionsauswahl; SARSA-Learning; On-policy und off-policy Verfahren; Eligibility Traces; RL und teilweise Beobachtbarkeit; Lösungsansätze zur Behandlung von POMDP
  • Neuronale Umsetzung von RL-Agenten: Value Approximation am Beispiel TD-Gammon; NFQ-Verfahren; ADHDP-Verfahren; Grundidee von Policy Search Algorithmen
  • Deep Reinforcement Learning (DRL) als Form des End-to-End Learnings: Atari Deep RL; AlphaGo; DeepControl
  • Learning Classifier Systems (LCS)
  • Multi-Agenten Systeme (MAS); Motivation und Arten von Multi-Agentensystemen; Konzepte zur Koordinierung von Agenten; Koordination mittels W-Lernen
  • Exemplarische Software-Implementierungen von RL-Verfahren für Navigationsaufgaben, Spiele, Prozesssteuerungen (Teilleistung 2)

Im Rahmen der Teilleistung 2 sollen in C++ oder Python eigene Plugins zur Anwendung des Reinforcement Learnings am Beispiel der Roboternavigation im Simulator erstellt und experimentell untersucht werden.

Medienformen und technische Anforderungen bei Lehr- und Abschlussleistungen in elektronischer Form

Präsenzvorlesung mit Powerpoint, Arbeitsblätter zur Vorlesung, Übungsaufgaben, Videos, Python Apps, studentische Demo-Programme, e-Learning mittels "Jupyter Notebook"

Literatur- Sutton, R., Barto, A. Reinforcement Learning - An Introduction. MIT
Press 1998 / 2018 http://incompleteideas.net/book/RLbook2018.pdf )- Alpaydin, Ethem. Maschinelles Lernen, Oldenbourg Verlag, 2008 - Bishop, Chr. Neural Networks for Patter Recognition, Oxford Press 1997

Lehrevaluation
Spezifik Referenzmodul
ModulnameLernen in kognitiven Systemen
Prüfungsnummer220455
Leistungspunkte5
SWS4 (2 V, 1 Ü, 1 P)
Präsenzstudium (h)45
Selbststudium (h)105
VerpflichtungPflichtmodul
AbschlussPrüfungsleistung mit mehreren Teilleistungen
Details zum AbschlussDas Modul Lernen in kognitiven Systemen mit der Prüfungsnummer 220455 schließt mit folgenden Leistungen ab:
  • schriftliche Prüfungsleistung über 90 Minuten mit einer Wichtung von 100% (Prüfungsnummer: 2200743)
  • alternative semesterbegleitende Studienleistung mit einer Wichtung von 0% (Prüfungsnummer: 2200744)


Details zum Abschluss Teilleistung 2:

eigene C++ oder Python-Implementierungen und Übungsaufgaben

Alternative Abschlussform aufgrund verordneter Corona-Maßnahmen inkl. technischer Voraussetzungen
Anmeldemodalitäten für alternative PL oder SL
max. Teilnehmerzahl
Spezifik im Studiengang Master Informatik 2013, Master Ingenieurinformatik 2014, Master Ingenieurinformatik 2021, Master Biomedizinische Technik 2021, Master Technische Kybernetik und Systemtheorie 2021, Master Informatik 2021
ModulnameLernen in kognitiven Systemen
Prüfungsnummer220455
Leistungspunkte5
Präsenzstudium (h)45
Selbststudium (h)105
VerpflichtungWahlmodul
AbschlussPrüfungsleistung mit mehreren Teilleistungen
Details zum AbschlussDas Modul Lernen in kognitiven Systemen mit der Prüfungsnummer 220455 schließt mit folgenden Leistungen ab:
  • schriftliche Prüfungsleistung über 90 Minuten mit einer Wichtung von 100% (Prüfungsnummer: 2200743)
  • alternative semesterbegleitende Studienleistung mit einer Wichtung von 0% (Prüfungsnummer: 2200744)


Details zum Abschluss Teilleistung 2:

eigene C++ oder Python-Implementierungen und Übungsaufgaben

Alternative Abschlussform aufgrund verordneter Corona-Maßnahmen inkl. technischer Voraussetzungen
Anmeldemodalitäten für alternative PL oder SL
max. Teilnehmerzahl