Chris Liebold
Systeme, die eine komplexe Dynamik aufweisen, sind in der Natur allgegenwärtig. Beispiele sind biologische Systeme wie das menschliche Herz, Verkehrsmodelle, Wettersysteme und das globale Klima. Bei all diesen und vielen weiteren Beispielen muss oft vorhergesagt werden, wie sich die dynamischen Variablen dieser Systeme im Laufe der Zeit entwickeln werden. Bei Systemen, die eine komplexe oder chaotische Dynamik aufweisen, ist dies eine schwierige Aufgabe, die noch dadurch erschwert wird, dass oft nur teilweise Messdaten zur Verfügung stehen. Neben dem ständig wachsenden Bedarf an Algorithmen, die genaue Vorhersagen machen können, müssen diese Algorithmen auch energieeffizient sein. Ziel des CZS Nexus-Projekts „Interpretierbare Surrogate für die effiziente Vorhersage analoger Zeitreihen“ ist die Entwicklung recheneffizienter Algorithmen, die in physischer Hardware und nicht als Software auf einem herkömmlichen Computer implementiert werden können.
Vereinfachtes Trainieren durch Reservoir Computing
Ausgangspunkt für diese Forschung ist das Reservoir Computing, ein maschinelles Lernverfahren, bei dem die Eingangsreaktion eines festen dynamischen Systems durch lineare Regression trainiert wird, um ein vorgegebenes Ziel zu approximieren. Das dynamische System, das als Reservoir fungiert, könnte zum Beispiel ein Netzwerk mikromechanischer Oszillatoren oder ein Halbleiterlaser mit optischer Rückkopplung sein, die im Vergleich zu Implementierungen in einem digitalen Computer sehr energieeffizient betrieben werden können. Im Gegensatz zu anderen Ansätzen des maschinellen Lernens wird beim Reservoir-Computing nur die letzte Ausgabeschicht trainiert. Dies hat den Vorteil, dass es sich leicht in Hardware implementieren lässt, allerdings auf Kosten der Gesamtgenauigkeit und der Systemgröße.
Dr. Lina JaurigueRechnen mit kleinen Reservoirs
Unsere Arbeit umfasst das Lernen, wie die Parameter des Reservoirs die Dynamik des Systems nach dem Training beeinflussen. Ziel ist es, die gewünschten Eigenschaften zuverlässig zu erhalten, auch wenn das Reservoir klein ist. Dies ist eine Herausforderung, da bei kleinen Reservoirs Variationen im Input zu großen Veränderungen im endgültigen System führen können. Ein Beispiel hierfür ist in Abb. 2 dargestellt, wo mehrere Reservoirs so trainiert wurden, dass sie den berühmten chaotischen Lorenz-Attraktor nachahmen, der auch als „Schmetterlings-Attraktor“ bezeichnet wird. Wir verwenden Methoden der nichtlinearen Dynamik und der Statistik, um zu verstehen, warum diese Unterschiede in den trainierten Systemen auftreten. In [1] haben wir uns diesem Ziel genähert, indem wir den Einfluss der Kopplungstopologie kleiner Netze gezeigt haben und zu dem kontraintuitiven Schluss gekommen sind, dass ungekoppelte Knoten zu einer zuverlässigeren Rekonstruktion des Lorenz-Systems führen. Dies ist ein spannendes Ergebnis, da es ein tieferes Verständnis der dynamischen Systeme ermöglicht.
Luci FumagalliDie Bedeutung der Zeitverzögerung
Die Zeitskalen, auf denen die Zeitreihen, die wir vorhersagen wollen, und die Zeitskalen, auf denen sich das Reservoir entwickelt, spielen eine entscheidende Rolle bei der Optimierung der Leistung eines Reservoirrechners. Für viele Aufgaben kann es von Vorteil sein, eine Zeitverzögerung in den Input oder den Output des Reservoirs einzubauen und diese als Steuerparameter zu verwenden. Dadurch kann das „Gedächtnis“ des Speichers auf die Aufgabe zugeschnitten und die Größe des Speichers reduziert werden [2,3,4].
Physikalische Nichtlinearitäten
Für die energieeffiziente Implementierung von Algorithmen des maschinellen Lernens ist es wünschenswert, die inhärenten nichtlinearen Eigenschaften der physikalischen Hardware zu nutzen. Zu diesem Zweck untersuchen wir, wie geeignete Hardware in den Reservoir-Computing-Ansatz integriert werden kann. Dazu gehört die Untersuchung optischer Systeme, wie z. B. Halbleiter-Quantenpunktlaser [5], und elektronischer Systeme, wie z. B. Memristoren. Diese physikalischen Systeme sollten dann anstelle des in Abb. 1 (Mitte, rechts) dargestellten üblichen Netzwerks verwendet werden.
Zusammenfassung
Durch das Verständnis der Dynamik, die in trainierten Systemen mit physikalischen Nichtlinearitäten auftreten kann, und durch die Anpassung der Speichereigenschaften dieser Systeme in einer aufgabenabhängigen Weise, arbeiten wir an energieeffizienten Edge Devices für die Zeitreihenvorhersage in medizinischen und industriellen Anwendungen.
[1] Chaotic attractor reconstruction using small reservoirs—the influence of topology, L. C. Jaurigue, Mach. Learn.: Sci. Technol. 5(3), 035058, (2024).
[2] Reducing reservoir computer hyperparameter dependence by external timescale tailoring, L. C. Jaurigue and K. Lüdge, Neuromorph. Comput. Eng. 4(1), 014001, (2024).
[3] Post-processing methods for delay embedding and feature scaling of reservoir computers, J. A. Jaurigue, J. Robertson, A. Hurtado, L. C. Jaurigue and K. Lüdge Commun. Eng. 4, 10, (2025).
[4] Efficient Optimisation of Physical Reservoir Computers using only a Delayed Input, E. Picco, L. C. Jaurigue, K. Lüdge and S. Massar Commun. Eng. 4(1), 3, (2025).
[5] Time-Multiplexed Reservoir Computing with Quantum-Dot Lasers: Impact of Charge-Carrier Scattering Timescale, H. Dong, L. C. Jaurigue and K. Lüdge Phys. Status Solidi RRL 2025, 2400433, (2025).
Dr. Lina Jaurigue
CZS Junior Group Leader
Fakultät für Mathematik und Naturwissenschaften
Email: lina.jaurigue@tu-ilmenau.de
Tel.: +49 3677 69-3649