Hochschulbibliographie

Mit dateneffizientem Reinforcement Learning (RL) konnten beeindruckende Ergebnisse erzielt werden, z.B. für die Regelung von Gasturbinen. In der Praxis erfordert die Anwendung von RL jedoch noch viel manuelle Arbeit, was bisher RL für die autonome Regelung untauglich erscheinen ließ. Die vorliegende Arbeit adressiert einige der verbleibenden Probleme, insbesondere in Bezug auf die Zuverlässigkeit der Policy-Erstellung. Es werden zunächst RL-Probleme mit diskreten Zustands- und Aktionsräumen betrachtet. Für solche Probleme wird häufig ein MDP aus Beobachtungen geschätzt, um dann auf Basis dieser MDP-Schätzung eine Policy abzuleiten. Die Arbeit beschreibt, wie die Schätzer-Unsicherheit des MDP in die Policy-Erstellung eingebracht werden kann, um mit diesem Wissen das Risiko einer schlechten Policy aufgrund einer fehlerhaften MDP-Schätzung zu verringern. Außerdem wird so effiziente Exploration sowie Policy-Bewertung ermöglicht. Anschließend wendet sich die Arbeit Problemen mit kontinuierlichen Zustandsräumen zu und konzentriert sich auf auf RL-Verfahren, welche auf Fitted Q-Iteration (FQI) basieren, insbesondere Neural Fitted Q-Iteration (NFQ). Zwar ist NFQ sehr dateneffizient, jedoch nicht so zuverlässig, wie für die autonome Regelung nötig wäre. Die Arbeit schlägt die Verwendung von Ensembles vor, um die Zuverlässigkeit von NFQ zu erhöhen. Es werden eine Reihe von Möglichkeiten der Ensemble-Nutzung entworfen und evaluiert. Bei allen betrachteten RL-Problemen sorgen Ensembles für eine zuverlässigere Erstellung guter Policies. Im nächsten Schritt werden Möglichkeiten der Policy-Bewertung bei kontinuierlichen Zustandsräumen besprochen. Die Arbeit schlägt vor, FittedPolicy Evaluation (FPE), eine Variante von FQI für Policy Evaluation, mit anderen Regressionsverfahren und/oder anderen Datensätzen zu kombinieren, um ein Maß für die Policy-Qualität zu erhalten. Experimente zeigen, dass Extra-Tree-FPE ein realistisches Qualitätsmaß für NFQ-generierte Policies liefern kann. Schließlich kombiniert die Arbeit Ensembles und Policy-Bewertung, um mit sich ändernden RL-Problemen umzugehen. Der wesentliche Beitrag ist das Evolving Ensemble, dessen Policy sich langsam ändert, indem alte, untaugliche Policies entfernt und neue hinzugefügt werden. Es zeigt sich, dass das Evolving Ensemble deutlich besser funktioniert als einfachere Ansätze.