http://www.tu-ilmenau.de

Logo TU Ilmenau


Neuroinformatics and
Cognitive Robotics Lab

headerphoto Neuroinformatics and 
Cognitive Robotics Lab
Contact Person

Univ.-Prof. Dr.-Ing. Horst-Michael Groß

Head of department

Phone +49 3677 692858

Send email

INHALTE

GESTIK

Overview

Title:Neuronale Architekturen zu GESTikbasierten Interaktion und Kommunikation mit demo mobilen Robotersystem MILVA
Duration:01.07.1996 - 30.06.1998
Funding:Thüringer Ministerium für Wissenschaft, Forschung und Kultur
Project Partner:Honda Research Institute Europe GmbH, Offenbach
Project Manager:Dr.-Ing. Hans-Joachim Böhme
Staff:Dipl.-Ing. Anja Brakensiek, Dipl.-Ing. Markus Krabbes, Dipl.-Ing. Ulf-Dietrich Braumann, Dott. Andrea Corradini

Description

Die Steuerung autonom agierender, mobiler Robotersysteme stellt eine international und zunehmend auch national stark forcierte Forschungsrichtung mit breiten Anwendungsfeldern in der Industrieautomatisierung und im Dienstleistungssektor dar.
Gerade im Dienstleistungssektor wird in jüngster Zeit unter dem Begriff " Service-Roboter " an einer neuen Generation von Systemen gearbeitet, die alltägliche Dienstleistungen und Hilfestellungen in unmittelbarer Kooperation und Interaktion mit dem Menschen vollführen sollen.
An die Leistungsfähigkeit der hierzu benötigten Steuerungs- und Sensorsysteme sowie an die Intelligenz und Flexibilität der "Nutzer-Roboter-Schnittstellen " werden allerdings extrem hohe Anforderungen gestellt, insbesondere was die Fähigkeit zur Kommunikation und Interaktion zwischen Nutzer und Serviceroboter und damit die Akzeptanz durch den Nutzer betrifft.
Im Rahmen dieses Forschungsvorhabens sollen lernfähige neuronale Architekturen zur non-verbalen, visuell basierten Kommunikation zwischen Nutzer und Roboter entwickelt werden, wobei die Schwerpunkte auf die handlungsrelevante Gestikinterpretation sowie die visuell geführte lokale Navigation des Roboters zum Nutzer gelegt werden.
Als Forschungsplattform für das Vorhaben soll das aus Landesmitteln finanzierte, mobile Robotersystem MILVA mit on-board Neurocomputer und multisensorischer Datengewinnung verwendet werden.

Scientific content

Für den Zweck der Steuerung soll ein Alphabet von wenigen Gesten verwendet werden können, das Kommandos wie "Halt", "Hallo", "Biege ab", "Komm her" enthält.

Diese Aufgabenstellung stellt eine hohe Herausforderung für ein Computer-Vision-System dar, da hier ein sehr hohes Maß an Robustheit hinsichtlich der Toleranz von Änderungen der Umgebungsbedingungen benötigt wird. Neben der Lokalisation von interaktionsbereiten Personen bilden Detektion und Interpretation der Arm- und Handstellungen die wesentlichen Punkte der Arbeiten.
In die Merkmalsextraktion werden folgende Komponenten einbezogen:
typische frontale Gesichtsbilder (Eigenfaces), typische einfache Umrißkonturen (Arrangement orientierter Filter), typische und spezielle Gesichtsfärbung (statistische und neuronale Farbmodelle) sowie Bewegungsmaße (binäre Bewegungsregionen).

Sowohl zur Lokalisation der Personen als auch zur Gesteninterpretationwerden die Merkmale fusioniert, was unter Real-World-Bedingungen unerläßlich für die Robustheit der Verfahren ist.
Zur Lokalisation werden die Verfahren darüber hinaus in Form einer Mehrskalenanalyse eingesetzt, so daß im bestimmten Rahmen eine Skalierungsinvarianz gewonnen wird.

Für die Auswertung von Gesten im Sinne einer Interpretation eignen sich neuronale Netze, da sie gut komplexe und nichtlineare Abhängigkeiten mit einer hohen Güte abbilden können. Die Arbeiten werden sich im weiteren Projektverlauf zunehmend auf die Gestenerkennung und -interpretationkonzentrieren, so daß der Einsatz der entwickelten neuartigen Schnittstelle zur Mensch-Maschine-Interaktion auf unserer mobilen Roboterplattform MILVA in naher Zukunft Realität sein wird.

Konsequenterweise wird auch die Umsetzung der erhaltenen Steuersignale in ein entsprechendes Lokomotions- umd Navigationsverhalten des Roboters auf Basis visueller Sensorik untersucht. Die größte Herausforderung besteht dabei darin, daß aus einem Kamerabild die Entfernung zu den dortdargestellten Objekten nicht unmittelbar hervorgeht und sich deshalb Kollisionen des Roboters nicht ohne weiteres vermeiden lassen. Solche Tiefenmaße können aber mit geeigneten Verfahren aus Ansichten von verschiedenen Standorten (Stereovision oder Kamerabewegung) extrahiert werden, um dann Gesetzmäßigkeiten zwischen der Raumtiefeund den Objektmerkmalen zu nutzen, um auch mit Einzelbildern den Roboter schnell und sicher zu steuern. Die Leistung der rein visuell basierten Bewegungssteuerung und -planung in der Umwelt stellt für alle höheren Lebewesen kein Problem dar, wird aber für die mobile Robotik in den nächstenJahren eines der größten zu lösenden Probleme sein.