Deep Learning for Computer Vision - Interactive curriculae of TU Ilmenau

Bachelor-Pflichtmodul "Neuroinformatik und Maschinelles Lernen", grundlegende Kenntnisse zur Programmierung in Phyton

Im Modul "Deep Learning für Computer Vision" haben die Studierenden die konzeptionellen, methodischen und algorithmischen Grundlagen von DNNs (Deep Neural Networks) kennen gelernt. Sie haben die grundsätzliche Herangehensweise dieser Form des Wissenserwerbs, der Generierung von implizitem Wissen aus Trainingsbeispielen, verstanden. Sie wissen, wie ein tiefes Neuronales Netzwerk aus Trainingsbeispielen lernt und diese nach Beendigung der Lernphase verallgemeinern kann, da das Netzwerk Muster und Gesetzmäßigkeiten in den Lerndaten erkannt hat. Die Studierenden haben sich die wesentlichen Konzepte, Lösungsansätze sowie Modellierungs- und Implementierungstechniken beim Einsatz von Deep-Learning-Verfahren und der zugehörigen Frameworks zur Implementierung solcher Netzwerke angeeignet.
Durch die Anwendung des erworbenen Wissens in ergänzenden, praxisnahen Implementierungsaufgaben in Python (Teilleistung 2) sind die Studierenden in der Lage, Fragestellungen aus dem Anwendungsfeld Computer Vision zu analysieren, durch Anwendung des behandelten Methodenspektrums auf Fragestellungen aus den behandelten Bereichen neue Lösungskonzepte zu entwerfen und algorithmisch umzusetzen sowie bestehende Lösungen zu bewerten. Nach intensiven Diskussionen während der Übungen und zur Auswertung der Python-Implementierung können die Studierenden Leistungen ihrer Mitkommilitonen richtig einschätzen und würdigen. Sie berücksichtigen Kritik, beherzigen Anmerkungen und nehmen Hinweise an.

Zunächst werden wichtige Grundlagen des Moduls "Neuroinformatik & maschinelles Lernen" in Kurzfassung wiederholt. Aufbauend auf diesen Grundlagen werden weiterführende Deep-Learning-Techniken des aktuellen State of the Arts vermittelt. Anschließend wird vermittelt, welche Besonderheiten bei der Einbindung der Deep-Learning-Techniken und -Architekturen in verschiedene Anwendungsbereiche beachtet werden müssen. Außerdem wird auf die praktische Anwendung der Techniken und Architekturen auf eigenen Problemstellungen und Daten eingegangen. Abschließend wird auf aktuelle Forschungsfragen eingegangen. Alle Vorlesungsinhalte werden in praxisnahen Übungen vertieft.

Gliederung:
1. Einführung:  Verfahrensübersicht und Eingrenzung; Lernparadigmen; Grundprinzip Backpropagation; Was kann Deep Leaning? Was sind die Problemfälle?

2. Frameworks: Installation, Einrichtung und Vergleich bekannter Frameworks mit Schwerpunkt auf PyTorch

3. Grundlagen: Grundlagen Neuronaler Netzwerke und mathematische Zusammenhänge; kurze Wiederholung  aus Vorlesung "Neuroinformatik & maschinelles Lernen": Formales statisches Neuron, Multi Layer Perceptron, Schichten des Convolutional Neural Networks; Backpropagation (Stochastic Gradient Descent mit Mini-Batches, Optimierungsverfahren, Regularisierungstechniken); beispielhafte Umsetzung der Grundlagen aus der Wiederholung in Numpy und PyTorch; komplexes Beispiel LeNet

4. Architekturen: bekannte ImageNet-Architekturen (z.B. ResNet), Transformer (z.B. Vison Transformer, Swin Transformer), mobile Architekturen (z.B. EfficientNet), Ausblick auf weitere Architekturen; Schwerpunkte bilden die Kerntechnologien der vorgestellten Architekturen: Deep-Learning-Techniken, Regularisierungsmethoden, moderne Aktivierungsfunktionen

5. Praktische Anwendung auf eigene Problemstellungen (Best Practice Guide): Umgang mit Daten: Auswahl Datensätze, Datenaufbereitung, Datenaugmentierung, Datensatzaufteilung; Auswahl der Architektur und geeigneter Deep-Learning-Techniken (z.B. Transfer Learning); Typische Probleme beim Training Neuronaler Netzwerke und abzuleitende Schlussfolgerungen

6. Anwendungen: von der Klassifikation zur Detektion: Objekte erkennen; Segmentierung: pixelgenaue Klassifikation; Posenerkennung: Skelettpunkte des Körpersschätzen; Wiedererkennung: Gesichtserkennung, moderne Fehlerfunktionen; Robotische Anwendungen

7. Probleme und aktuelle Forschung: Ausblick auf aktuelle Forschung im Fachgebiet zum Themenbereich

Powerpoint-Folien (als Papierkopie oder PDF), Übungsvordrucke, Videos, Python-Quelltextbeispiele, Deep Learning Frameworks, Jupyter Notebooks, Moodle-Kurs

Rosebrock: Deep Learning for Computer Vision

Aggarwal: Neural Networks and Deep Learning

Goodfellow et al.: Deep Learning

Ng: Machine Learning Yearning

Das Modul Deep Learning für Computer Vision mit der Prüfungsnummer 220490 schließt mit folgenden Leistungen ab:

• schriftliche Prüfungsleistung über 90 Minuten mit einer Wichtung von 100% (Prüfungsnummer: 2200826)
• alternative semesterbegleitende Studienleistung mit einer Wichtung von 0% (Prüfungsnummer: 2200827)

Details zum Abschluss Teilleistung 2:

erfolgreicher Abschluss der gestellten Implementierungsaufgaben mittels vorgegebener Deep Learning Frameworks PyTorch

Dieses Modul enthält mindestens eine alternative semesterbegleitende Abschlussleistung. Bitte beachten Sie, dass diese in der Regel schon zu Beginn des Semesters, in dem diese angeboten wird, angemeldet werden muss.
Über die Details und Zeiträume dazu werden Sie vom Lehrenden und/oder dem Prüfungsamt informiert. Fragen Sie gegebenenfalls unbedingt beim Lehrenden nach.

This module contains at least one alternative exam part. Please note that this must usually be registered at the beginning of the semester in which it is offered.
The lecturer and/or the examination office will inform you about the details and time periods. If necessary, be sure to ask the lecturer.

Das Modul Deep Learning für Computer Vision mit der Prüfungsnummer 220490 schließt mit folgenden Leistungen ab:

• schriftliche Prüfungsleistung über 90 Minuten mit einer Wichtung von 100% (Prüfungsnummer: 2200826)
• alternative semesterbegleitende Studienleistung mit einer Wichtung von 0% (Prüfungsnummer: 2200827)

Details zum Abschluss Teilleistung 2:

erfolgreicher Abschluss der gestellten Implementierungsaufgaben mittels vorgegebener Deep Learning Frameworks PyTorch

Dieses Modul enthält mindestens eine alternative semesterbegleitende Abschlussleistung. Bitte beachten Sie, dass diese in der Regel schon zu Beginn des Semesters, in dem diese angeboten wird, angemeldet werden muss.
Über die Details und Zeiträume dazu werden Sie vom Lehrenden und/oder dem Prüfungsamt informiert. Fragen Sie gegebenenfalls unbedingt beim Lehrenden nach.

This module contains at least one alternative exam part. Please note that this must usually be registered at the beginning of the semester in which it is offered.
The lecturer and/or the examination office will inform you about the details and time periods. If necessary, be sure to ask the lecturer.