Unsere Forschungsarbeiten sind auf zwei langfristige Ziele ausgerichtet. Während das Ziel unserer Neuroinformatik-Forschung in der Entwicklung von maschineller Intelligenz durch Verständnis und Nachbildung neuronaler Informationsverarbeitungs- und Lernprozesse besteht, zielen unsere Arbeiten zur Kognitiven Robotik auf die Herausbildung von verhaltensorientierter Intelligenz in aktiv lernenden, mobilen und interaktiven Service- und Assistenzrobotern. Beide Gebiete ergänzen sich sowohl aus methodischer als auch anwendungsorientierter Sicht und werden parallel und übergreifend erforscht.
Von uns bearbeitete Anwendungsszenarien solcher interaktiven mobilen Assistenzroboter sind:
- Assistenz-, Lotsen- und Transportroboter für öffentliche Einsatzumgebungen (Bau- und Supermärkte, Einkaufszentren, Bürogebäude, Kliniken, Pflegeinrichtungen, Unternehmen, etc.)
- Benutzeradaptive soziale Roboter (Companions) für die häusliche Assistenz im Kontext des Ambient Assisted Living (AAL)
- Reha-Roboter zur kognitiven und physischen Mobilisierung von Menschen durch aktiv korrigiertes Bewegungs- und Gangtraining in Kliniken, Reha- und Pflegeinrichtungen
- Kollaborative Assistenzroboter (Cobots) für industrielle oder handwerkliche Montageszenarien zur situationsspezifischen, proaktiven Unterstützung der Nutzer.
Diese Anwendungsszenarien erfordern robuste, alltagstaugliche Grundfertigkeiten im Bereich der nutzerzentrierten und sozial verträglichen Roboternavigation und Manipulation sowie der Mensch-Roboter-Interaktion (HRI).
Von uns entwickelte Grundfertigkeiten im Bereich der Mensch-Roboter-Interaktion umfassen:
- multimodale Personenwahrnehmung (Detektion, Tracking)
- biometrische und soft-biometrische Personenwiedererkennung (gesichts- und ansichtsbasiert)
- Nonverbale Erkennung von Alter, Geschlecht, Mimik und Interaktionsinteresse
- Erkennung von Alltagsaktivitäten und Aktionen der Nutzer im Anwendungskontext (Zeigeposen, Gesten, Gang- und Bewegungsmuster, Tagesaktivitäten, Bewegungs- und Montageabläufe, Übergabe/Übernahmebereitschaft)
- Helferkontaktierung und Einbindung menschlicher Unterstützung zur Fahrstuhlnutzung und zum Passieren geschlossener Türen
- Adaptive und nutzerspezifische Roboter-Mensch Kommunikation über Sprachausgaben, Mimik, Blickrichtung, Displayausgaben und Laserprojektionen in die Umgebung sowie Körpersprache und Bewegungsmuster des Roboters
Von uns entwickelte Grundfertigkeiten im Bereich der Roboternavigation und Manipulation umfassen:
- Kartierung und Modellierung der Einsatzumgebung (2D, 3D) mit semantischer Attributierung unter Einsatz von SLAM-Techniken
- Selbstlokalisation des Roboters und seiner Manipulatorik im Raum auf Basis einer exakten Umgebungsmodellierung
- Adaptive Verfahren für Pfadplanung und Bewegungssteuerung inklusive Hindernisvermeidung
- Situationsanalyse und Erkennung des Unterstützungsbedarfs vor geschlossenen Türen und Fahrstühlen
- Erkennung zu übernehmender/übergebender Objekte und deren Lage- und Griffpunktbestimmung
- Greifbewegungssteuerung für die Objektübernahme bzw. -übergabe
- Personensicheres, situationsgerechtes und höfliches Navigations- und Manipulationsverhalten (Annäherung, Folgen, Warten, Übergeben/Übernehmen von Objekten aus der Nutzerhand, …)
Diese Grundfertigkeiten basieren auf modernen Techniken des maschinellen Lernens und der probabilistischen Informationsverarbeitung mit folgenden methodischen Forschungsschwerpunkten:
- Moderne Deep-Learning-Architekturen zur Analyse von Bildern und Bildsequenzen (RGB und RGB-D) mit Schwerpunkt auf mobilen Deep-Learning-Architekturen für eine echtzeitfähige Klassifikation, Detektion, oder Instanz-Segmentierung
- Techniken zur semantischen Szenenanalyse mittels Deep-Learning-Verfahren
- Multi-task Deep Learning
- Lernen von Feature Embeddings zur Wiedererkennung von Objekten, Personen und Aktionen in Deep-Learning-Anwendungen
- Deep-Learning-basierte 3D-Objektrekonstruktion, Modellierung von Affordanzen und Greifposenbestimmung
- Modellierung von Unsicherheit in Convolutional Neural Networks für eine nachvollziehbarere Inferenz und Erkennung von „Out of Distribution“ Daten
- Skalierbare Annotation und Lernen mit wenigen oder grob gelabelten Trainingsbeispielen; Human-in-the-Loop, um zielgerichtet zu labeln
- Verfahren des Federated Deep Learning als Form des verteilten Lernens
- Nutzung von Simulationen zur Generierung gelabelter bzw. annotierter Daten
- Transfer Learning zwischen verschiedenen Anwendungsdomänen
- Reinforcement Learning für den Erwerb und die Koordination von sensomotorischen Verhaltensweisen inklusive Deep Reinforcement Learning
Wichtige Forschungshighlights unseres Fachgebietes sind die Entwicklung
- des weltweit ersten alltagstauglichen mobilen Shoppingassistenzroboters TOOMAS (2007)
- der mobilen häuslichen Assistenzroboter (Companions) für ältere Menschen (CompanionAble 2012, ALIAS 2013, SERROGA 2015, SYMPARTNER 2018)
- sowie der mobilen robotischen Rehabilitationsassistenten ROREAS (2015) und ROGER (2019) für das Gangtraining in der Rehabilitation nach Schlaganfällen und orthopädischen Operationen.
Unsere Robotersysteme:
Insgesamt verfügt unser Lab über 14 mobile Assistenzroboter:
