Technische Universität Ilmenau

Data-Driven Optimization for Machine Learning Applications - Modultafeln der TU Ilmenau

Die Modultafeln sind ein Informationsangebot zu den Studiengängen der TU Ilmenau.

Die rechtsverbindlichen Studienpläne entnehmen Sie bitte den jeweiligen Studien- und Prüfungsordnungen (Anlage Studienplan).

Alle Angaben zu geplanten Lehrveranstaltungen finden Sie im elektronischen Vorlesungsverzeichnis.

Informationen und Handreichungen zur Pflege von Modulbeschreibungen durch die Modulverantwortlichen finden Sie unter Modulpflege.

Hinweise zu fehlenden oder fehlerhaften Modulbeschreibungen senden Sie bitte direkt an modulkatalog@tu-ilmenau.de.

Modulinformationen zu Data-Driven Optimization for Machine Learning Applications im Studiengang Master Ingenieurinformatik 2014
Modulnummer200135
Prüfungsnummer220491
FakultätFakultät für Informatik und Automatisierung
Fachgebietsnummer 2212 (Prozessoptimierung)
Modulverantwortliche(r)Prof. Dr. Pu Li
TurnusSommersemester
SpracheEnglisch
Leistungspunkte5
Präsenzstudium (h)45
Selbststudium (h)105
VerpflichtungWahlmodul
AbschlussPrüfungsleistung mit mehreren Teilleistungen
Details zum AbschlussDas Modul Data-Driven Optimization for Machine Learning Applications mit der Prüfungsnummer 220491 schließt mit folgenden Leistungen ab:
  • alternative semesterbegleitende Prüfungsleistung mit einer Wichtung von 30% (Prüfungsnummer: 2200829)
  • mündliche Prüfungsleistung über 30 Minuten mit einer Wichtung von 70% (Prüfungsnummer: 2200830)

Details zum Abschluss Teilleistung 1:

Programmieraufgaben als Hausbeleg

Alternative Abschlussform aufgrund verordneter Corona-Maßnahmen inkl. technischer Voraussetzungen
Anmeldemodalitäten für alternative PL oder SLDie Anmeldung zur alternativen semesterbegleitenden Abschlussleistung erfolgt über das Prüfungsverwaltungssystem (thoska) außerhalb des zentralen Prüfungsanmeldezeitraumes. Die früheste Anmeldung ist generell ca. 2-3 Wochen nach Semesterbeginn möglich. Der späteste Zeitpunkt für die An- oder Abmeldung von dieser konkreten Abschlussleistung ist festgelegt auf den (falls keine Angabe, erscheint dies in Kürze):
max. Teilnehmerzahl
Vorkenntnisse

 BSc level. Basic linear algebra and computer programming skills are advantageous.

Lernergebnisse und erworbene Kompetenzen

The students know and can explain

  • basic model-driven, model-driven data-augumented, and data-driven optimization
  • numerical linear algebra methods for machine learning
  • convexity and regularization of functions
  • non-negative matrix factorization and application
  • modern mathematical optimization algorithms for pattern recognition and classification
  • modern mathematical optimization algorithms for neural-network-based modeling.

They can implement

  • optimization algorithms for linear and nonlinear regressions
  • quadratic programming methods for support vector machines
  • optimization algorithms for non-negative matrix factorization, pattern recognition, and applications
  • and evaluate various optimization algorithms for neural network-based modeling and applications

The students learn the theory, models, methods, and algorithms of the corresponding subjects in the lectures. In the exercises, they are activated to solve example tasks. In project tasks, they analyze, solve, and evaluate programming problems.

Inhalt

1. Introduction - Motivation, Data-driven versus Model-driven appraoch, importance of data-driven optimization; overview of optimization problems arising in machine learning applications;

2. Preiminaries - linear algebra; convex sets convex functions; gradient, sub-gradient, hessian matrix;

3. Programming basics (Python, R, Matlab); data loading and preprocessing; 

4. Unconstrained optimization for machine learning: regularization-meaning and relevance; regression problems; neural networks and back-propagation of errors; optimization methods for deep learning ;

5. Uncostrained Optimiztion Algorithms; 5A: First-order algorithms - gradient descent, accelerated gradient descent, stochastic gradient descent, conjugate gradient methods, coordinate descent; R and Python implementations; sub-gradient methods (optional); 5B. Second-order algorithms: The Newton Method; quasi-Newton methods; LBFGS; R and Python implementations;

6. Constrained Optimization Methods for Machine Learning - the interior point method; face-recongintion with supprot vector machine using Python, Scikit-Learn and OpenCV ;Matrix factorization methods for pattern recognition- SVD, PCA, non-negative matrix factorization (NMF); Matlab and Python Scikit-Learn implementations; Proximal-Point Algorithms: proximal gradient methods; alternating direction of multupliers (ADMM);

7. Bayesian Optimization methods for Machine Learning;

8. Optimization algorithms in Deep Learning Tools TensorFlow, Kerays, pyTorch

Medienformen und technische Anforderungen bei Lehr- und Abschlussleistungen in elektronischer Form

Lecture Slides, PC Pools, Machine Learning Tools and Libraries

Literatur

Bottou, Léon; Curtis Frank E., Nocedal, Jorge: Optimization Methods for Large-Scale Machine Learning. SIAM Review, 60(2), 223-311.                                                                                                                                                                                                                                                                                                                                                                           Emrouznejad, Ali (ed.): Big Data Optimization: Recent developments and challenges. Volume 18, Studies in Big Data Series, Springer, 2016.                                                                                                                                                                          Geron, Aurelien: Hands-on machine learning with scikit-learn, Keras & TensorFlow, 2nd Ed. O'Reilly, 2019.   Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron: Deep Learning. The MIT Press, 2017.                                                        

Lehrevaluation