Thesis

In dieser Arbeit beschäftigen wir uns mit dem S-Lemma und dessen Beweis von Yakubovich, welcher die Konvexität der Bildmenge zweier homogener quadratischer Funktionen ausnutzt, dem Dines Theorem. Daneben betrachten wir in Trust-Region Subproblemen eine exemplarische Anwendung des S-Lemmas. Außerdem werden wir weitere Konvexitätsaussagen, als Verallgemeinerungen des Dines Theorems, sehen und damit einhergehend auch Verallgemeinerungen des S-Lemmas erhalten.

Deep Learning ist ein Teilgebiet des maschinellen Lernens und basiert auf dem Einsatz von neuronalen Netzen. Diese Netze müssen entsprechend ihrer Aufgabe trainiert, d.h. optimiert werden. Um dies zu bewerkstelligen muss ein unrestringiertes Optimierungsproblem gelöst werden. In dieser Arbeit werden zunächst Grundbegriffe des Deep Learning mathematisch definiert und das zugrundeliegende Optimierungsproblem anhand eines Beispiels motiviert. Anschließend werden weitere Aspekte der Optimierung von neuronalen Netzen erläutert und Lösungsansätze vorgestellt und kritisch diskutiert.

In dieser Arbeit werden verschiedene Abstiegsverfahren dargestellt. Speziell wird auf das Gradientenverfahren eingegangen und am Beispiel von Empirical Risk Minimization eine Entwicklung bis hin zu adaptiven Verfahren wie dem Adam-Algorithmus beschrieben. Anschließend wird das CLUE-Verfahren erklärt, welches den Adam-Algorithmus zum Lösen einer gewichteten Summe verwendet. Das CLUE-Verfahren verwendet ein Bayesches neuronales Netz und einen Variational Autoencoder, um eine Zielfunktion zu definieren. Diese beiden neuronalen Netze werden beschrieben und es wird erklärt, wie solche trainiert werden können. Für die Zielfunktion wird der Einfluss von verschiedenen Batch-Größen untersucht. Außerdem wird eine modifizierte Abbruchbedingung betrachtet.

Die Klasse der gemischt-ganzzahligen nichtlinearen Optimierungsprobleme bietet ein breites Spektrum an Anwendungsmöglichkeiten, unter anderem die Modulation von Versorgungsnetzwerken oder Verkehrsströmen. Es ist daher von großem Interesse, neue Lösungsverfahren für diese Art von Optimierungsproblemen zu finden und bereits bekannte Ansätze weiterzuentwickeln. In dieser Arbeit wird die Erweiterung der Äußeren Approximation durch die Anwendung von Taylorpolynomen zweiter Ordnung untersucht. Dazu wird eine Reihe von Möglichkeiten zur Gewinnung geeigneter quadratischer Approximationen der Nebenbedingungen zusammengetragen und deren praktische Anwendbarkeit diskutiert. Weiterhin werden die Ergebnisse der klassischen linearen und der erweiterten quadratischen Äußeren Approximation für ausgewählte Testbeispiele miteinander verglichen.

Diese Masterarbeit beschäftigt sich mit multikriteriellen gemischt-ganzzahligen konvexen Optimierungsproblemen. Derartige Probleme treten beispielsweise in Ingenieurs- oder Wirtschaftswissenschaften auf. Hierbei ist man oft daran interessiert, alle effizienten Punkte für diese Optimierungsprobleme zu bestimmen. Zunächst werden in dieser Arbeit die theoretischen Grundlagen der multikriteriellen Optimierung dargestellt. Anschließend wird ein Branch-and-Bound Algorithmus zur Bestimmung einer Lösungsüberdeckung solcher Optimierungsprobleme vorgestellt und die einzelnen Teilschritte genauer beleuchtet. Dabei werden Auswahlkriterien, der Bisektionsschritt, Zulässigkeitskriterien und Verwerfungskriterien, die wir basierend auf oberen und unteren Schranken für die Zielfunktion formulieren, betrachtet. Weiterhin wird der Algorithmus noch durch weitere Modifikationen erweitert und liefert dadurch genauere Lösungsüberdeckungen. Der erweiterte Algorithmus wurde in MATLAB implementiert und anhand von uns entwickelter Testbeispiele getestet.