University bibliography

Communication technologies play an important role in maintaining the grandparent-grandchild (GP-GC) relationship. Based on Media Richness Theory, this study investigates the frequency of use (RQ1) and perceived quality (RQ2) of established media as well as the potential use of selected innovative media (RQ3) in GP-GC relationships with a particular focus on digital media. A cross-sectional online survey and vignette experiment were conducted in February 2021 among N = 286 university students in Germany (mean age 23 years, 57% female) who reported on the direct and mediated communication with their grandparents. In addition to face-to-face interactions, non-digital and digital established media (such as telephone, texting, video conferencing) and innovative digital media, namely augmented reality (AR)-based and social robot-based communication technologies, were covered. Face-to-face and phone communication occurred most frequently in GP-GC relationships: 85% of participants reported them taking place at least a few times per year (RQ1). Non-digital established media were associated with higher perceived communication quality than digital established media (RQ2). Innovative digital media received less favorable quality evaluations than established media. Participants expressed doubts regarding the technology competence of their grandparents, but still met innovative media with high expectations regarding improved communication quality (RQ3). Richer media, such as video conferencing or AR, do not automatically lead to better perceived communication quality, while leaner media, such as letters or text messages, can provide rich communication experiences. More research is needed to fully understand and systematically improve the utility, usability, and joy of use of different digital communication technologies employed in GP-GC relationships.

As the application scenarios of mobile robots are getting more complex and challenging, scene understanding becomes increasingly crucial. A mobile robot that is supposed to operate autonomously in indoor environments must have precise knowledge about what objects are present, where they are, what their spatial extent is, and how they can be reached; i.e., information about free space is also crucial. Panoptic mapping is a powerful instrument providing such information. However, building 3D panoptic maps with high spatial resolution is challenging on mobile robots, given their limited computing capabilities. In this paper, we propose PanopticNDT – an efficient and robust panoptic mapping approach based on occupancy normal distribution transform (NDT) mapping. We evaluate our approach on the publicly available datasets Hypersim and ScanNetV2. The results reveal that our approach can represent panoptic information at a higher level of detail than other state-of-the-art approaches while enabling real-time panoptic mapping on mobile robots. Finally, we prove the real-world applicability of PanopticNDT with qualitative results in a domestic application.

In the context of assistive mobile service robotics for elderly living in nursing homes, but also for robots realizing autonomous transport in large public buildings in general, a fundamental challenge is to overcome closed doors on their way. We review the state of the art for autonomous door opening by mobile robots and present a modular framework for enabling various robots in this task. The necessary building blocks are introduced, and evaluation results for their application on two different robot platforms are presented. A common property of our platforms, which can be found on many commercial lowcost robots is the use of differential drives. This is limiting the maneuverability and is, therefore, an important constraint for the realization of door manipulation strategies. Furthermore, our method is not dependent on computationally expensive computer vision methods but utilizes the usually available laser-range scanner for localizing and analyzing the door to be manipulated.

Autonomous mobile service robots with transportation tasks are often restricted to work on a single floor, since remote access to elevators is expensive to integrate for reasons of safety certification. Therefore, already ten years ago first robots have been enabled to use the human interface for riding an elevator. This requires a variety of perception and manipulation capabilities as well as social skills when it comes to interaction with other people who want to use the elevator too. We summarize the progress in solving the specific tasks of detecting and localizing the required buttons to press robustly. A deep-learning approach for detecting buttons in images is combined with a verification based on predefined knowledge on button arrangements in the elevator's control panels. Also perception of the elevator's state and our realization of the robot's elevator riding capabilities are discussed.

As the use of collaborative robots (cobots) in industrial manufacturing continues to grow, human action recognition for effective human-robot collaboration becomes increasingly important. This ability is crucial for cobots to act autonomously and assist in assembly tasks. Recently, skeleton-based approaches are often used as they tend to generalize better to different people and environments. However, when processing skeletons alone, information about the objects a human interacts with is lost. Therefore, we present a novel approach of integrating object information into skeleton-based action recognition. We enhance two state-of-the-art methods by treating object centers as further skeleton joints. Our experiments on the assembly dataset IKEA ASM show that our approach improves the performance of these state-of-the-art methods to a large extent when combining skeleton joints with objects predicted by a state-of-the-art instance segmentation model. Our research sheds light on the benefits of combining skeleton joints with object information for human action recognition in assembly tasks. We analyze the effect of the object detector on the combination for action classification and discuss the important factors that must be taken into account.

In the context of collaborative robotics, handing over hand-held objects to a robot is a safety-critical task. Therefore, a robust distinction between human hands and presented objects in image data is essential to avoid contact with robotic grippers. To be able to develop machine learning methods for solving this problem, we created the OHO (Object Hand-Over) dataset of tools and other everyday objects being held by human hands. Our dataset consists of color, depth, and thermal images with the addition of pose and shape information about the objects in a real-world scenario. Although the focus of this paper is on instance segmentation, our dataset also enables training for different tasks such as 3D pose estimation or shape estimation of objects. For the instance segmentation task, we present a pipeline for automated label generation in point clouds, as well as image data. Through baseline experiments, we show that these labels are suitable for training an instance segmentation to distinguish hands from objects on a per-pixel basis. Moreover, we present qualitative results for applying our trained model in a real-world application.

Person re-identification plays a key role in applications where a mobile robot needs to track its users over a long period of time, even if they are partially unobserved for some time, in order to follow them or be available on demand. In this context, deep-learning-based real-time feature extraction on a mobile robot is often performed on special-purpose devices whose computational resources are shared for multiple tasks. Therefore, the inference speed has to be taken into account. In contrast, person re-identification is often improved by architectural changes that come at the cost of significantly slowing down inference. Attention blocks are one such example. We will show that some well-performing attention blocks used in the state of the art are subject to inference costs that are far too high to justify their use for mobile robotic applications. As a consequence, we propose an attention block that only slightly affects the inference speed while keeping up with much deeper networks or more complex attention blocks in terms of re-identification accuracy. We perform extensive neural architecture search to derive rules at which locations this attention block should be integrated into the architecture in order to achieve the best trade-off between speed and accuracy. Finally, we confirm that the best performing configuration on a re-identification benchmark also performs well on an indoor robotic dataset.

Humans are able to learn to recognize new objects even from a few examples. In contrast, training deep-learning-based object detectors requires huge amounts of annotated data. To avoid the need to acquire and annotate these huge amounts of data, few-shot object detection (FSOD) aims to learn from few object instances of new categories in the target domain. In this survey, we provide an overview of the state of the art in FSOD. We categorize approaches according to their training scheme and architectural layout. For each type of approach, we describe the general realization as well as concepts to improve the performance on novel categories. Whenever appropriate, we give short takeaways regarding these concepts in order to highlight the best ideas. Eventually, we introduce commonly used datasets and their evaluation protocols and analyze the reported benchmark results. As a result, we emphasize common challenges in evaluation and identify the most promising current trends in this emerging field of FSOD.

Averaging predictions of a deep ensemble of networks is a popular and effective method to improve predictive performance and calibration in various benchmarks and Kaggle competitions. However, the runtime and training cost of deep ensembles grow linearly with the size of the ensemble, making them unsuitable for many applications. Averaging ensemble weights instead of predictions circumvents this disadvantage during inference and is typically applied to intermediate checkpoints of a model to reduce training cost. Albeit effective, only few works have improved the understanding and the performance of weight averaging. Here, we revisit this approach and show that a simple weight fusion (WF) strategy can lead to a significantly improved predictive performance and calibration. We describe what prerequisites the weights must meet in terms of weight space, functional space and loss. Furthermore, we present a new test method (called oracle test) to measure the functional space between weights. We demonstrate the versatility of our WF strategy across state of the art segmentation CNNs and Transformers as well as real world datasets such as BDD100K and Cityscapes. We compare WF with similar approaches and show our superiority for in- and out-of-distribution data in terms of predictive performance and calibration.

In an aging society, efficiently organizing care taking tasks is of great importance including several players (here referred to as caregivers) like relatives, friends, professional caretakers, employees of retirement homes, clubs and so on. Especially for long-distance relationships, this can be burdensome and time-consuming. While supporting devices, like mobile phones or tablets, are slowly reaching the elder community, the drawbacks are obvious. These passive devices need to be handled by the elderly themselves, this includes an proper understanding of the operation, remembering to charge the devices, or even to hear incoming calls or messages. In the project MORPHIA, we target these drawbacks by combining a social communication platform on a tablet with a mobile robotic platform that can be remote-controlled by all mentioned actors of the supporting network or actively deliver messages emitted from the network. In this paper, we present the first stage of our demonstrator in terms of implemented hard- and software components. Since the price is a key factor for acceptance of such a system in the care community, we performed a technical assessment of these components based on our findings during the development process. In addition, we present the results of the first user tests with 5 participants over two weeks each between August and November 2021 (two further test iterations are planned for 2022 and 2023). This includes general usage of specific robotic services as well as technical benchmarks to assess the robustness of the developed system in domestic environments.

Background: Loneliness and social isolation in older age are considered major public health concerns and research on technology-based solutions is growing rapidly. This scoping review of reviews aims to summarize the communication technologies (CTs) (review question RQ1), theoretical frameworks (RQ2), study designs (RQ3), and positive effects of technology use (RQ4) present in the research field. Methods: A comprehensive multi-disciplinary, multi-database literature search was conducted. Identified reviews were analyzed according to the PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) framework. A total of N = 28 research reviews that cover 248 primary studies spanning 50 years were included. Results: The majority of the included reviews addressed general internet and computer use (82% each) (RQ1). Of the 28 reviews, only one (4%) worked with a theoretical framework (RQ2) and 26 (93%) covered primary studies with quantitative-experimental designs (RQ3). The positive effects of technology use were shown in 55% of the outcome measures for loneliness and 44% of the outcome measures for social isolation (RQ4). Conclusion: While research reviews show that CTs can reduce loneliness and social isolation in older people, causal evidence is limited and insights on innovative technologies such as augmented reality systems are scarce.

In den letzten Jahrzehnten sind medizinische Bildgebungsverfahren wie die Computertomographie (CT) zu einem unersetzbaren Werkzeug moderner Medizin geworden, welche eine zeitnahe, nicht-invasive Begutachtung von Organen und Geweben ermöglichen. Die Menge an anfallenden Daten ist dabei rapide gestiegen, allein innerhalb der letzten Jahre um den Faktor 15, und aktuell verantwortlich für 30 % des weltweiten Datenvolumens. Die Anzahl ausgebildeter Radiologen ist weitestgehend stabil, wodurch die medizinische Bildanalyse, angesiedelt zwischen Medizin und Ingenieurwissenschaften, zu einem schnell wachsenden Feld geworden ist. Eine erfolgreiche Anwendung verspricht Zeitersparnisse, und kann zu einer höheren diagnostischen Qualität beitragen. Viele Arbeiten fokussieren sich auf "Radiomics", die Extraktion und Analyse von manuell konstruierten Features. Diese sind jedoch anfällig gegenüber externen Faktoren wie dem Bildgebungsprotokoll, woraus Implikationen für Reproduzierbarkeit und klinische Anwendbarkeit resultieren. In jüngster Zeit sind Methoden des "Deep Learning" zu einer häufig verwendeten Lösung algorithmischer Problemstellungen geworden. Durch Anwendungen in Bereichen wie Robotik, Physik, Mathematik und Wirtschaft, wurde die Forschung im Bereich maschinellen Lernens wesentlich verändert. Ein Kriterium für den Erfolg stellt die Verfügbarkeit großer Datenmengen dar. Diese sind im medizinischen Bereich rar, da die Bilddaten strengen Anforderungen bezüglich Datenschutz und Datensicherheit unterliegen, und oft heterogene Qualität, sowie ungleichmäßige oder fehlerhafte Annotationen aufweisen, wodurch ein bedeutender Teil der Methoden keine Anwendung finden kann. Angesiedelt im Bereich onkologischer Bildgebung zeigt diese Arbeit Wege zur erfolgreichen Nutzung von Deep Learning für medizinische Bilddaten auf. Mittels neuer Methoden für klinisch relevante Anwendungen wie die Schätzung von Läsionswachtum, Überleben, und Entscheidungkonfidenz, sowie Meta-Learning, Klassifikator-Ensembling, und Entscheidungsvisualisierung, werden Wege zur Verbesserungen gegenüber State-of-the-Art-Algorithmen aufgezeigt, welche ein breites Anwendungsfeld haben. Hierdurch leistet die Arbeit einen wesentlichen Beitrag in Richtung einer klinischen Anwendung von Deep Learning, zielt auf eine verbesserte Diagnose, und damit letztlich eine verbesserte Gesundheitsversorgung insgesamt.

Through deep learning, major advances have been made in the field of visual road condition assessment in recent years. However, many approaches train from scratch and avoid transfer learning due to the different nature of road surface data and the ImageNet dataset, which is commonly used for pre-training neural networks for visual recognition. We show that, despite the huge differences in the data, transfer learning outperforms training from scratch in terms of generalization. In extensive experiments, we explore the underlying cause by examining various transfer learning effects. For our experiments, we are incorporating seven known architectures. Therefore, this is the first comprehensive study of transfer learning in the field of visual road condition assessment.

Robust point cloud registration in real-time is an important prerequisite for many mapping and localization algorithms. Traditional methods like ICP tend to fail without good initialization, insufficient overlap or in the presence of dynamic objects. Modern deep learning based registration approaches present much better results, but suffer from a heavy runtime. We overcome these drawbacks by introducing StickyPillars, a fast, accurate and extremely robust deep middle-end 3D feature matching method on point clouds. It uses graph neural networks and performs context aggregation on sparse 3D key-points with the aid of transformer based multi-head self and cross-attention. The network output is used as the cost for an optimal transport problem whose solution yields the final matching probabilities. The system does not rely on hand crafted feature descriptors or heuristic matching strategies. We present state-of-art art accuracy results on the registration problem demonstrated on the KITTI dataset while being four times faster then leading deep methods. Furthermore, we integrate our matching system into a LiDAR odometry pipeline yielding most accurate results on the KITTI odometry dataset. Finally, we demonstrate robustness on KITTI odometry. Our method remains stable in accuracy where state-of-the-art procedures fail on frame drops and higher speeds.

Analyzing scenes thoroughly is crucial for mobile robots acting in different environments. Semantic segmentation can enhance various subsequent tasks, such as (semantically assisted) person perception, (semantic) free space detection, (semantic) mapping, and (semantic) navigation. In this paper, we propose an efficient and robust RGB-D segmentation approach that can be optimized to a high degree using NVIDIA TensorRT and, thus, is well suited as a common initial processing step in a complex system for scene analysis on mobile robots. We show that RGB-D segmentation is superior to processing RGB images solely and that it can still be performed in real time if the network architecture is carefully designed. We evaluate our proposed Efficient Scene Analysis Network (ESANet) on the common indoor datasets NYUv2 and SUNRGB-D and show that we reach state-of-the-art performance while enabling faster inference. Furthermore, our evaluation on the outdoor dataset Cityscapes shows that our approach is suitable for other areas of application as well. Finally, instead of presenting benchmark results only, we also show qualitative results in one of our indoor application scenarios.

This paper presents the technological status of robot-assisted gait self-training under real clinical environment conditions. A successful rehabilitation after surgery in hip endoprosthetics comprises self-training of the lessons taught by physiotherapists. While doing this, immediate feedback to the patient about deviations from the expected physiological gait pattern during training is important. Hence, the Socially Assistive Robot (SAR) developed for this type of training employs task-specific, user-centered navigation and autonomous, real-time gait feature classification techniques to enrich the self-training through companionship and timely corrective feedback. The evaluation of the system took place during user tests in a hospital from the point of view of technical benchmarking, considering the therapists' and patients' point of view with regard to training motivation and from the point of view of initial findings on medical efficacy as a prerequisite from an economic perspective. In this paper, the following research questions were primarily considered: Does the level of technology achieved enable autonomous use in everyday clinical practice? Has the gait pattern of patients who used additional robot-assisted gait self-training for several days been changed or improved compared to patients without this training? How does the use of a SAR-based self-training robot affect the motivation of the patients?

Clinical decision support using deep neural networks has become a topic of steadily growing interest. While recent work has repeatedly demonstrated that deep learning offers major advantages for medical image classification over traditional methods, clinicians are often hesitant to adopt the technology because its underlying decision-making process is considered to be intransparent and difficult to comprehend. In recent years, this has been addressed by a variety of approaches that have successfully contributed to providing deeper insight. Most notably, additive feature attribution methods are able to propagate decisions back into the input space by creating a saliency map which allows the practitioner to "see what the network sees." However, the quality of the generated maps can become poor and the images noisy if only limited data is available - a typical scenario in clinical contexts. We propose a novel decision explanation scheme based on CycleGAN activation maximization which generates high-quality visualizations of classifier decisions even in smaller data sets. We conducted a user study in which we evaluated our method on the LIDC dataset for lung lesion malignancy classification, the BreastMNIST dataset for ultrasound image breast cancer detection, as well as two subsets of the CIFAR-10 dataset for RBG image object recognition. Within this user study, our method clearly outperformed existing approaches on the medical imaging datasets and ranked second in the natural image setting. With our approach we make a significant contribution towards a better understanding of clinical decision support systems based on deep neural networks and thus aim to foster overall clinical acceptance.

In this paper, we present the developments regarding an expressive robot head for our socially assistive mobile robot HERA, which among other things is serving as an autonomous delivery system in public buildings. One aspect of that task is contacting and interacting with unconcerned people in order get help when doors are to open or an elevator has to be used. We designed and tested a robot head comprising a pan-tilt unit, 3D-printed shells, animated eyes displayed on two LCD-screens, and three arrays of RGB-LEDs for communicating internal robot states and attracting potential helpers interest. An online-study was performed to compare variations of eye-expression and LED lighting. Data was extracted from the answers of 139 participants. Statistical analysis showed significant differences in identification performance for our intended eye-expressions, perceived politeness, help intentions, and hedonic user experience.

Serviceroboter müssen in der Lage sein, in ihrer Einsatzumgebung autonom zu agieren. Diese Arbeit deckt - beginnend mit der Umgebungswahrnehmung und Kartierung bis hin zur Hinderniserkennung - ein weites Spektrum der dazu benötigten Navigationsleistungen ab. Dabei liegt der Fokus vor allem auf der Nutzung visueller Sensoren. Einen ersten Schwerpunkt bildet ein Verfahren zur monokularen Szenenrekonstruktion (Structure-from-Motion). Dieses erlaubt während der Eigenbewegung des Roboters die dreidimensionale Struktur der Umgebung anhand der Bilder einer einzelnen Kamera zu rekonstruieren. Durch die Kompensation der Eigenbewegung in den aufgenommenen Bildern ermöglicht das Verfahren auch die Detektion und Positionsschätzung bewegter Objekte wie Personen. Den methodischen Kern der Arbeit bildet die Umgebungsrepräsentation und Kartierung. Das dazu verwendete Umgebungsmodell nutzt die Normal Distribution Transform (NDT) zur effizienten Repräsentation der Umwelt. Um ihren Einsatz auch in dynamischen Umgebungen zu ermöglichen, werden diese NDT-Karten um eine weitere probabilistische Komponente erweitert, die zusätzlich die Belegtheitswahrscheinlichkeit modelliert. Darüber hinaus wird ein Verfahren zur expliziten Detektion und zum Tracking bewegter Objekte in den Karten vorgeschlagen, das sich nahtlos in die probabilistische Modellierung einfügt. Basierend auf den Verfahren zur Kartierung mit NDT-Karten wird ein graphbasiertes SLAM-Verfahren für NDT-Karten zur gleichzeitigen Kartierung und Lokalisation beschrieben. Schleifenschlüsse und die Korrektur der fehlerbehafteten Odometrie werden durch Registrierung von Teilkarten realisiert. Dabei werden verschiedene Methoden zur Registrierung von NDT-Karten untersucht. Weiterhin werden Konzepte realisiert, die den lebenslangen Einsatz des SLAM-Verfahrens ermöglichen. Eine Unterscheidung in eine Kartierungsphase bei der Inbetriebnahme und eine Lokalisierungsphase während des Betriebs des Roboters wird somit überflüssig. Weiterhin werden in der Arbeit maßgebliche Beiträge zur Entwicklung einer neuen Robotik Middleware geleistet, die es ermöglicht, die realisierten Teilalgorithmen effizient zu komplexen Gesamtanwendungen zusammenzufügen. Die in dieser Arbeit realisierten Methoden kommen in zahlreichen Projekten mit realen Anwendungsszenarien zum Einsatz. Dazu zählen beispielsweise Shopping-, Lotsen- und Assistenz-Roboter in öffentlichen Einsatzumgebungen sowie im häuslichen Umfeld.

Viele Anwendungen in der mobilen und kognitiven Robotik erfordern einen Prädiktionsmechanismus, um die zukünftigen Aufenthaltsorte bewegter Objekte zu schätzen. Ein autonomes Auto muss beispielsweise die Absichten der anderen Verkehrsteilnehmer schätzen können, um Kollisionen zu vermeiden und die Verkehrsregeln einzuhalten. Ein Serviceroboter muss hingegen in der Lage sein, die Bewegungsspuren der Personen in seiner Umgebung vorherzusagen, um in einer sozial akzeptablen Art und Weise zu navigieren und die Passanten nicht zu behindern. Fast alle Prädiktionsalgorithmen, die in der Literatur zu finden sind, beschäftigen sich mit der Kurzzeitprädiktion und sind auf spezielle Problemstellungen angepasst. Die Lösung einer neuen Problemstellung, welche eine Langzeitprädiktion benötigt (z.B. ein personalisierter Shopping-Assistent, oder eine intelligente Stauvorhersage), ist daher oft mit umfangreichem Forschungs- und Entwicklungsaufwand verbunden. Das Ziel dieser Dissertationsschrift liegt darin, sich dieses Defizits anzunehmen und der wissenschaftlichen Gemeinschaft ein vielseitig einsetzbares Langzeitprädiktionsframework zur Verfügung zu stellen. Das Framework trifft keine Annahmen über das jeweilige System und kann somit auf einfache Art und Weise an die spezifischen Anforderungen der individuellen Problemstellung angepasst werden. Das Framework selbst besteht aus drei Elementen: - Ein topologisches Modell, welches mit Hilfe eines Clustering Algorithmus anhand von Beobachtungen erstellt wird. Daraus resultiert ein topologischer Graph, welcher den Zustandsraum effizient abbildet und eine praktikable Repräsentation von Trajektorien ermöglicht. - Ein probabilistisches Modell, welches den topologischen Graphen um Übergangswahrscheinlichkeiten und Wahrscheinlichkeitsverteilungen der Übergangszeiten ergänzt. - Das eigentliche Prädiktionsframework, welches beide Modelle integriert. Mit Hilfe eines flussbasierten Algorithmus errechnet es für eine gegebene Eingabetrajektorie die zukünftigen Aufenthaltswahrscheinlichkeitsverteilungen über den gesamten Zustandsraum. Die im Rahmen dieser Arbeit durchgeführten Experimente zeigen, dass das vorgestellte Langzeitprädiktionsframework für Bewegungstrajektorien in der Lage ist, sich mit mehreren State of the Art Algorithmen zu messen, ohne dabei auf problemspezifische Bewegungsmodelle zurückzugreifen, physikalische Gesetze zu beachten, oder einschränkende Annahmen über den Zustandsraum des Systems zu treffen. Weiterhin enthalten die Experimente umfangreiche Auswertungen und Ergebnisse, um einen aussagekräftigen Vergleich mit künftigen Prädiktionsalgorithmen zu ermöglichen.

Im Zentrum dieser Dissertation steht die soziale Assistenzrobotik. In den letzten Jahren hat die Bedeutung dieses Teilgebietes der mobilen Robotik stark zugenommen und zusammen mit der Diversifizierung robotischer Fähigkeiten hat sich die Nutzergruppe hin zur breiten Masse mit potentiellen technischen Laien gewandelt. Aus dieser Situation heraus erwachsen an die Interaktionsfähigkeiten sozialer Assistenzroboter umfangreiche Anforderungen. Insbesondere stehen in dieser Arbeit die Multimodalität der Interaktion und die Anpassungsfähigkeiten an den konkreten Nutzer im Vordergrund. Am Beispiel eines Serviceroboters für die häusliche Gesundheitsassistenz, wie er in einem vom Autor mit bearbeiteten Forschungsprojekt realisiert wurde, wird zunächst der Analyse- und Entwurfsprozess für dessen Umsetzung geschildert. Im Anschluss daran wird gezeigt, wie sich aus der Systemspezifikation eine mehrschichtige Systemarchitektur ableiten lässt, welche auch auf andere Robotikanwendungen übertragbar ist. Der Fokus liegt dabei auf der modularen Realisierung einer Ablauf- und Dialogsteuerung. Um dem System eine Persönlichkeit zu geben und ein im Langzeiteinsatz akzeptierbares Dialogverhalten zu generieren, wurde ein frame-basierter Dialogmanager konzipiert und umgesetzt. Dabei wurden Aspekte wie Modularität durch ein App-Konzept, leichte Erweiterbarkeit und die Möglichkeit, nutzeradaptive Dialoge zu realisieren, berücksichtigt. Im Kern des vorgestellten Dialogsystems kommt eine gänzlich neue Methode der probabilistischen online-Planung von Dialogsequenzen zum Einsatz. Ein eigens konzipiertes Realweltexperiment konnte zeigen, dass es mit diesem System möglich ist, anhand von systeminternen aber auch nutzergetriebenen Bewertungen, das Dialogverhalten im Rahmen von durch den Designer vorgegebenen Freiheiten zur Laufzeit zu optimieren. Die Gestaltung des robotischen Gesundheitsassistenten wurde durch weitere Teilsysteme abgerundet. Unter diesen spielen verschiedene taktile Sensoriken und ein Emotionsmodell eine entscheidende Rolle für die Realisierung eines liebenswerten Begleiters. Letztendlich konnte in sehr erfolgreichen teils mehrtägigen Nutzerstudien mit Senioren die Praktikabilität des entwickelten Interaktionskonzepts und der Systemarchitektur nachgewiesen werden.

For a mobile assistive robot operating in a human-populated environment, a polite navigation is an important requirement for the social acceptance. When operating in a confined environment, narrow passages can lead to deadlock situations with persons. In our approach we distinguish two types of deadlock situations at narrow passages, in which the robot lets the conflicting person pass, and either waits in a non-disturbing waiting position, or forms a queue with that person. Forthcoming deadlock situations are captured by a set of qualitative features. As part of these features, we detect narrow passages with a raycasting approach and predict the movement of persons. In contrast to numerical features, the qualitative description forms a more compact human-understandable space allowing to employ a rule-based decision tree to classify the considered situation types. To determine a non-disturbing waiting position, a multi-criteria optimization approach is used together with the Particle Swarm Optimization as solver. In field tests, we evaluated our approach for deadlock recognition in a hospital environment with narrow corridors.

Rehabilitative follow-up care is important for stroke patients to regain their motor and cognitive skills. We aim to develop a robotic rehabilitation assistant for walking exercises in late stages of rehabilitation. The robotic rehab assistant is to accompany inpatients during their self-training, practicing both mobility and spatial orientation skills. To hold contact to the patient, even after temporally full occlusions, robust user re-identification is essential. Therefore, we implemented a person re-identification module that continuously re-identifies the patient, using only few amount of the robot's processing resources. It is robust to varying illumination and occlusions. State-of-the-art performance is confirmed on a standard benchmark dataset, as well as on a recorded scenario-specific dataset. Additionally, the benefit of using a visual re-identification component is verified by live-tests with the robot in a stroke rehab clinic.

In this paper, we present a holistic approach to enable mobile robots using video projection in a situation aware and dynamic way. Therefore, we show how to autonomously detect wall segments that are suitable to be used as projection target in a dynamic environment. We derive several quality measures to score the wall segments found in the local environment and show how these scores can be used by a particle swarm optimization to find the best local projection position for the mobile robot. Furthermore, it is demonstrated how the presented approach can be used to display directions in an orientation training task for stroke patients while the robot is following them.

Close natural interaction is assumed to be a key feature for a socially assistive service robot, if the user is expected to develop an emotional bond to the robot system and accept it as a companion over a prolonged period. One particularly intuitive way of affective interaction, seen e.g. between people and pets, is physical touch in the form of stroking or smacking. In order to support the companion robot's role of an intelligent pet-like buddy, we aim to equip the robot with the capabilities to recognize such physical interaction behavior and react accordingly. In this paper, we present a low cost smart fur sensor which encourages tactile interaction by the user and recognizes different touch patterns relating to various kinds of emotional expressions. Special emphasis is put on the simple and robust classification of touch patterns emerging from such tactile interaction to distinguish the respective inputs for the robot.

In diesem Beitrag werden erste Ergebnisse zum Einsatz eines robotischen Reha-Assistenten als Laufcoach in einer Klinik vorgestellt. Zunächst wird das mit Laufcoach bezeichnete Einsatzszenario beschrieben und die zur Umsetzung dieses Szenarios grundlegenden Roboterverhalten sowie die eingesetzten realwelttauglichen Erkennungs-, Navigations- und Interaktionsleistungen zusammen mit der Roboterplattform vorgestellt. Die Herangehensweise an zunächst 4-tägige Funktionstests in der Klinik mit 15.000 m gefahrener Wegstrecke wird dargelegt und erste erreichte Ergebnisse zu den Roboterverhalten der autonomen und höflichen Zielanfahrt, des Lotsens und Folgens einer Person diskutiert.

In dieser Arbeit wird dargestellt, wie lernfähige adaptive Prozessmodelle zum Verbessern der Prozessführung in großen industriellen Verbrennungsanlagen beitragen können. Dazu werden die wesentlichen Bestandteile eines solchen Verbrennungsprozesses dargestellt, und es wird erläutert, warum konventionelle Regelungsverfahren (z.B. PID-Regler) Teile dieses Prozesses nicht oder nur unzureichend beherrschen können. Lernfähige Modelle sind prinzipiell in der Lage eine bessere Prozessführung zu gewährleisten. Ebenso wird gezeigt, welche Probleme die Standard-Lernverfahren mit den Daten realer Prozesse haben. Im Hauptteil der Arbeit werden drei Verbesserungsansätze erarbeitet: Der Einfluss von verrauschten Daten auf den Lernvorgang. Um trotz solcher Daten gute Modelle zu erhalten, werden sowohl verrauschte Punkte (Ausreißer) aus dem Datensatz entfernt als auch robuste Trainingsverfahren eingesetzt. Die Anpassung eines lernfähigen Modells an Veränderungen des Prozesses über langen Zeiträumen. Es wird gezeigt, dass ein Adaptieren des Modells zu Vorteilen gegenüber einem statischen Modell führt. Auf Verbrennungsdaten werden die besten Ergebnisse mit der gewichteten Kombination von adaptiven Modellen in Ensembles erreicht. Die funktionale Sicherheit der Stellstrategie eines lernfähigen Modells. Lernfähige Standardverfahren scheitern oft an der Verteilung der Daten in bereits geregelten Prozessen. Zur Vermeidung solcher Fehler werden mehrere sich ergänzende Ansätze entwickelt. Bedeutsam ist dabei das Einfügen von Expertenwissen in den Lernprozess. Durch Abgleich mit bereits vorhandenen Daten der Anlage kann gezielt Wissen für unbekannte Bereiche integriert und die Zuverlässigkeit lernfähiger Regler erhöht werden. Das wesentliche Herausstellungsmerkmal dieser Arbeit im Vergleich zu anderen Arbeiten auf dem Gebiet der lernfähigen Prozessmodelle liegt im unmittelbaren praktischen Bezug zu Verbrennungsprozessen. Die vorgestellten Verfahren wurden auf verschiedenen Müllverbrennungsanlagen und Zementwerken über mehrere Wochen und Monate erprobt. Es werden Lösungsmöglichkeiten aufgezeigt, die es ermöglichen, lernfähige Systeme über lange Zeiträume aktiv Stellgrößen regeln zu lassen und so eine erhebliche Verbesserung der Prozessführung zu erreichen.

This paper describes the user-centered design and evaluation process of a humanoid mobile shopping robot named TOOMAS that assists customers of home improvement stores. Three separate empirical field studies addressing the robot's usability (according to ISO 9241-11) and acceptability (intention to use) are presented involving N=343 test persons altogether. The first formative evaluation study (N=210) addresses the usability of the robot's article search system. It is demonstrated how several usability problems could be identified and eliminated, leading to significantly more successful article searches. The second formative evaluation study (N=39) addresses the robot's adaptation to its specific task and role in the home improvement store. Embodiment, mobility, voice output, and social behavior were analyzed and adapted to user requirements. The third summative evaluation study (N=94) experimentally tested robot-assisted shopping against conventional shopping regarding core usability criteria (effectiveness, efficiency, and satisfaction). It reveals that robot-assisted shopping was as effective and satisfactory as conventional shopping. Still, at the current state of technology shopping with robot assistance was slightly slower and therefore less efficient. For all three studies the effects of users' gender, age, educational background and computer skills levels on robot usability and acceptability are presented and discussed.

Ein Großteil der Verkehrsunfälle auf Europas Straßen findet in städtischen Kreuzungsbereichen statt. Die Ursache liegt in den meisten Fällen in einem vorangegangen Fehler seitens eines Fahrers. Eine Möglichkeit, um solche Unfälle zu verhinden, wäre der Einsatz eines Fahrassistenzsystems, welches im Fahrzeug verbaut ist und den Fahrer in Kreuzungssituationen unterstützt und auf mögliche Gefahren hinweist. Das Fahrassistenzsystem müsste dafür in der Lage sein eine komplexe Verkehrssituation ganzheitlich zu erfassen und basierend darauf abzuschätzen wie sich die Situation in naher Zukunft weiter entwickelt. Derzeit gibt es aber noch kein System, dass solch eine Funktionalität bietet, und auch im akademischen Bereich fehlt es an Methoden für eine ganzheitliche Situationserfassung. Die vorliegende Arbeit präsentiert eine neuartige Methode um innerstädtische Kreuzungssituationen zu erfassen. Sie basiert auf der Erkenntnis, dass derartige Verkehrssituationen zu komplex und zu variabel sind, um sie im Ganzen zu analysieren. Deshalb wird die Verkehrssituation in kleinere, leichter handhabbare Teile zerlegt, wobei jeder Teil aus zwei in Beziehung stehenden Entitäten besteht. Dabei beeinflusst eine Entität das Verhalten der anderen, zum Beispiel ein Fahrzeug, welches ein folgendes Fahrzeug zum Abbremsen veranlasst. Mögliche Konstellationen für in Beziehung stehende Entitäten werden von einem Experten in Modellen spezifiziert, die als "Konfigurationen" bezeichnet werden. Im Zuge der Arbeit wurde eine Reihe von Methoden entwickelt, die von dem Konfigurationen Konzept Gebrauch machen. Neben der eigentlichen Erkennung einer Konfiguration wird das Konzept auch für Methoden zur Verhaltensprädiktion verwendet, unter anderem, um ausgehend von der Konfiguration eines Fahrzeugs das longitudinale Verhalten oder nächste Manöver vorherzusagen. In einer umfassenden Evaluation kann gezeigt werden, dass sich Konfigurationen zuverlässig erkennen lassen und sich zur Situationseinschätzung eignen. Zusätzlich übertreffen die vorgeschlagenen Prädiktionsmethoden die zum Vergleich herangezogenen bisherigen Methoden. Als Grund dafür wird die Berücksichtigung der Konfigurationsinformation ausgemacht.

In dieser Arbeit werden wichtige Aspekte einer kognitiven Architektur für das Erlernen von Regelungsaufgaben beleuchtet. Dabei geht es primär um die Merkmalsextraktion, das Reinforcement Learning und das Lernmanagement im Rahmen des Wahrnehmungs-Handlungs-Zyklus. Für die Merkmalsextraktion werden dabei mit Hilfe informationstheoretischer Größen, wie der Transinformation, neue hybride Merkmalsextraktionsverfahren vorgestellt. Neuartig ist dabei der Ansatz, Merkmale zu suchen, die explizit mit den gemachten Fehlern eines lernenden Systems verknüpft sind. Es wird gezeigt, dass diese residuumsbasierten Ansätze klassischen Methoden überlegen sind. Es wird ebenfalls untersucht, welche Schätzverfahren für die Bestimmung der Transinformation im Sinne der Merkmalsextraktion geeignet sind. Als Entscheidungsinstanz der Gesamtarchitektur werden aktuelle Reinforcement Learning Verfahren auf ihre Eignung für komplexe Anwendungen hin untersucht. Dabei wird auch auf Probleme des Lernmanagements, wie das Explorations-Exploitations-Dilemma, das Stabilitäts-Plastizitäts-Dilemma und das Rewarddekompositionsproblem eingegangen. Neue Beiträge werden dabei in Form des Diffusionsbaumbasiertes Reinforcement Learning und des SMILE-Algorithmus geliefert. Ebenso wird eine Architekturerweiterung zum Organisieren der Lernprozesse vorgeschlagen, welche im Kern um eine Prozesskarte angeordnet ist. Der experimentelle Nachweis, dass das vorgestellte System die Lösung für reale Probleme erlernen kann, wird am herausfordernden Szenarioder intelligenten Feuerungsführung erbracht. Dabei wird das Gesamtsystem zur Regelung eines mit Steinkohle gefeuerten Kraftwerks eingesetzt, wobei Ergebnisse erzielt werden, die bisher existierende Systeme und auch menschliche Experten übertreffen.

In dieser Doktorarbeit befasse ich mich mit einem einfachen, parameterfreien statistischen Modell, das nur wenige Trainingsdaten benötigt und schnell zu trainieren ist. Am Beispiel der Gesichtsdetektion, der Identifikation und der Klassifikation von Gesichtseigenschaften zeige ich einige Einsatzgebiete dieses statistischen Modells auf. Zur Detektion wird das weit bekannte Verfahren des Elastic Bunch Graph Matching adaptiert, indem das statistische Modell zum Lernen von Auftretenswahrscheinlichkeiten von Gesichtsmerkmalen eingesetzt wird. Weiterhin werden Texturmerkmale derart transformiert, dass sie zur Detektion von Gesichtern in unterschiedlichen Größen und mit unterschiedlichen Rotationswinkeln in der Bild-Ebene verwendet werden können. Um Landmarken im Gesicht besser platzieren zu können und um bessere Identifikationsergebnisse zu erzielen, wird das Bild anhand der gefundenen Gesichtsgröße und -rotation automatisch standardisiert. Es wird gezeigt, dass beide Erweiterungen des Elastic Bunch Graph Matching auch mit wenigen hand-gelabelten Trainingsdaten robust funktionieren, und dass die Detektion beschleunigt werden kann. Durch eine kleine Veränderung am Modell wird dieses auch zur Identifikation der Person, die in einem Bild zu sehen ist, eingesetzt. Im Gegensatz zu den meisten aktuellen Identifikationsverfahren lernt das Modell, auf welche Art und Weise zwei Gesichtsbilder am sinnvollsten miteinander zu vergleichen sind. Dazu wird jeweils ein statistisches Modell für die intrapersonale und für die extrapersonale Klasse approximiert. Die intrapersonale Klasse besteht aus Vergleichen von Bildern der gleichen Person, während in der extrapersonalen Klasse Vergleiche unterschiedlicher Personen enthalten sind. Unter Verwendung der Gesichtsgraphen wird empirisch belegt, dass das statische Modell in der Lage ist, verlässlich Gesichter in unterschiedlichen Größen und mit unterschiedlichen Gesichtsausdrücken wiederzuerkennen. Die Identifikation unter veränderter Beleuchtung ist nach wie vor ein schweres Problem, es wird jedoch gezeigt, dass das einfache, parameterfreie statistische Modell andere aktuelle Ansätze zur Identifikation auszustechen vermag. Dies wird auch erreicht, indem Elemente der Texturdeskriptoren verwendet werden, die von den meisten aktuellen Algorithmen ignoriert werden. Das gleiche Modell wird auch zur Klassifikation von Gesichtsausdrücken und Beleuchtungsbedingungen verwendet. Dies ist möglich, indem die verwendeten Trainingspaare in der intrapersonalen und der extrapersonalen Klasse ausgetauscht werden. Ein weiteres aktuelles Klassifikationsproblem versucht, anhand von Gesichtsbildern von Personen mit genetischen Syndromen ebendiese Syndrome zu diagnostizieren. Das statistische Modell wird leicht verändert eingesetzt, um diese Klassifikation automatisch durchführen zu können. Es wird gezeigt, dass dieses parameterfreie Modell in der Lage ist, die Syndrome besser zu klassifizieren, als aktuelle hochspezialisierte Klassifikationsmethoden mit wohlgewählten Parametern. Zur Anwendung in der klinischen Praxis wurde ein Java-Programm entwickelt, das dem medizinischen Personal erlaubt, Bilder von Patienten zu erwalten, die Gesichter in den Bildern automatisch zu detektieren und gegebenenfalls Landmarken manuelle zu korrigieren, und ein Syndrom anhand dieser Bilder zu diagnostizieren. Durch die Kombination einer soliden mathematischen Grundlage mit einer ingenieurstechnischen Herangehensweise ist es gelungen, eine gute Visualisierung der verwendeten Texturmerkmale zu erreichen. Es wird gezeigt, dass mit Hilfe dieser Rekonstruktionsmethode auch abgewandelte Texturmerkmale visualisiert werden können. Unter Anderem wird aus Texturmerkmalen unterschiedlicher Patienten mit dem gleichen genetischen Syndrom ein mittleres Texturmerkmal kombiniert, in dessen Visualisierung medizinische Experten das entsprechende Syndrom eindeutig erkennen konnten.

Die Umgebung des Menschen ist voller visueller Details. Diese immense Menge an Information kann, unter der Annahme von begrenzten Verarbeitungs- und Speicherresourcen, nur teilweise aufgenommen und gespeichert werden. Daraus ergibt sich die Notwendigkeit einer selektiven Verarbeitung, die, je nach Aufgabenstellung, zu einer unterschiedlichen Repräsentation der visuellen Szene führt. Psychophysische Experimente zeigen, dass dabei die erfasste Umgebung nicht nur örtlich, sondern auch im Merkmalsraum selektiv bearbeitet wird, dass heißt es wird nur die visuelle Information aufgenommen, die für das Lösen der jeweiligen Aufgabe erforderlich ist. Im Rahmen dieser Arbeit werden eine flexible Systemarchitektur und eine Kontrollstruktur zur aufgabenbezogenen Szenenrepräsentation vorgestellt. Im Gegensatz zu existierenden Arbeiten ermöglicht dieser Ansatz eine selektive Informationsaufnahme. Die vorgeschlagene Architektur enthält neben einem Lang- und Kurzzeitgedächtnis sowie einer Aufmerksamkeitskarte auch mehrere Verarbeitungsmodule zur Merkmalsextraktion. Diese Verarbeitungsmodule sind spezialisiert auf die Extraktion eines Merkmals und arbeiten unabhängig voneinander. Sie können jedoch je nach Aufgabenstellung dynamisch miteinander gekoppelt werden um gezielt die benötigte Information aus der Szene zu extrahieren. Die Entscheidung, welche Information benötigt wird und welche Module zur Extraktion dieser Merkmale gekoppelt werden müssen, trifft die im Rahmen der Arbeit entwickelte Kontrollstruktur, welche das gespeicherte Wissen des Systems und die gestellte Aufgabe berücksichtigt. Weiterhin stellt die Kontrollstruktur sicher, dass algorithmische Abhängigkeiten zwischen den Verarbeitungsmodulen unter Zuhilfenahme von systemimmanentem Prozesswissen automatisch aufgelöst werden. Die hier vorgestellte Systemarchitektur und die ebenfalls vorgeschlagene Kontrollstruktur werden experimentell anhand einer realen Tischszene evaluiert. Bei den durchgeführten Experimenten zeigt sich, dass bei Lösung einer gestellten Aufgabe die Menge der vom System verarbeiteten und gespeicherten Informationen deutlich reduziert wird. In der Folge werden die Anforderungen an die Verarbeitungs- und Speicherressourcen ebenfalls deutlich reduziert. Diese Arbeit leistet damit einen Beitrag zur aufgabenbezogenen Repräsentation von visuellen Szenen, da nur noch die Information verarbeitet und gespeichert wird, die tatsächlich zur Lösung der Aufgabe erforderlich ist.

We propose a new approach for reinforcement learning in problems with continuous actions. Actions are sampled by means of a diffusion tree, which generates samples in the continuous action space and organizes them in a hierarchical tree structure. In this tree, each subtree holds a subset of the action samples and thus holds knowledge about a subregion of the action space. Additionally, we store the expected long-term return of the samples of a subtree in the subtrees root. Thus, the diffusion tree integrates both, a sampling technique and a means for representing acquired knowledge in a hierarchical fashion. Sampling of new action samples is done by recursively walking down the tree. Thus, information about subregions stored in the roots of all subtrees of a branching point can be used to direct the search and to generate new samples in promising regions. This facilitates control of the sample distribution, which allows for informed sampling based on the acquired knowledge, e.g. the expected return of a region in the action space. In simulation experiments, we show how this can be used conceptually for exploring the state-action space efficiently.

The goal of this research is to enable mobile robots to navigate through crowded environments such as indoor shopping malls, airports, or downtown side walks. The key research question addressed in this paper is how to learn planners that generate human-like motion behavior. Our approach uses inverse reinforcement learning (IRL) to learn human-like navigation behavior based on example paths. Since robots have only limited sensing, we extend existing IRL methods to the case of partially observable environments. We demonstrate the capabilities of our approach using a realistic crowd flow simulator in which we modeled multiple scenarios in crowded environments. We show that our planner learned to guide the robot along the flow of people when the environment is crowded, and along the shortest path if no people are around

Im Forschungsfeld der mobilen Assistenzroboter spielen Bewegungsabläufe eine zunehmend wichtige Rolle. Gerade in den Bewegungen der mit dem Assistenzroboter handelnden Person verstecken sich eine ganze Reihe Informationen, die zur Verbesserung der Interaktion herangezogen werden können. Eine wichtige Fragestellung bezüglich der Analyse von Bewegungen stellt die Repräsentation der Bewegungstrajektorien dar. Außerdem muss geklärt werden, welche Ähnlichkeitsmaße in den komplexeren Verfahren zum Einsatz kommen können bzw. welche speziellen Anforderungen sie erfüllen müssen. Den Kern der Arbeit stellen drei Verfahren dar, die im Wesentlichen den weiteren Verlauf einer beobachteten Bewegung über einen längeren Zeitraum vorhersagen können. Dabei handelt es sich um Echo State Netzwerke, Local Models und die spatio-temporale nicht-negative Matrixfaktorisierung (NMF). Die Arbeit als Ganzes versteht sich als einer der ersten Schritte zur systematischen Untersuchung von Bewegungsabläufen. Mit dieser Arbeit soll ein Entwickler in der Lage sein, aus einer breiten Palette an Werkzeugen sich für das Richtige für seinen speziellen Anwendungsfall zu entscheiden.

Im Rahmen der vorliegenden Arbeit wird ein Überblick gegeben, welche Systeme und Verfahren Aussagen über den aktuellen Aufmerksamkeitszustand des Fahrers zulassen. Der Schwerpunkt liegt dabei auf monokularen kamerabasierten Fahrerbeobachtungssystemen. Es werden verschiedene Ansätze diskutiert, die es ermöglichen den visuellen Aufmerksamkeitsfokus des Fahrers auf Basis eines solchen Systems zu ermitteln sowie die besondere Bedeutung der Kopforientierung und Blickrichtung in diesem Zusammenhang hervorgehoben. In einem ersten Schritt wird eine Bewertungsmethodik entwickelt, die es ermöglicht, kamerabasierte Fahrerbeobachtungssysteme in typischen Fahrsituationen im Hinblick auf die Messgenauigkeit der Kopforientierung sowie den erreichten Erfassungsbereich zu bewerten. Die Funktionsfähigkeit dieser Methodik wird in einer ersten Versuchsreihe unter Beweis gestellt. In weiteren Versuchsreihen wird bestimmt, inwiefern Blickrichtung und Kopforientierung in typischen Fahrsituationen miteinander korrelieren und inwieweit alleine auf Basis der Kopforientierung Aussagen zur Fahreraufmerksamkeit getroffen werden können. Daraus werden verschiedene eigene Ansätze, wie die Kopforientierung hinsichtlich der Fahreraufmerksamkeit interpretiert werden kann, abgeleitet, umgesetzt und beurteilt. Aufbauend auf diesen Ansätzen zur kopforientierungsbasierten Fahreraufmerksamkeitsbestimmung werden die Warnstrategien von zwei Fahrerassistenzsystemen (FAS) mit maschineller Wahrnehmung, ursprünglich nur der Fahrzeugumwelt, prototypisch an die Aufmerksamkeit des Fahrers angepasst. Bei den hierfür beispielhaft modifizierten FAS handelt es sich zum einen um einen Spurverlassenswarner (engl. - Lane Departure Warning System), zum anderen um einen abstandsgesteuerten Tempomaten (engl. - Adaptive Cruise Control System). Ziel dieser Adaptionen ist es, einerseits dem Fahrer im Falle von Unaufmerksamkeit mehr Reaktionszeit in einer Gefahrensituation einzuräumen. Anderseits soll die Akzeptanz des FAS gesteigert werden, in dem dessen Warnungen nur noch in kritischen Situationen, bezogen auf den Aufmerksamkeitszustand des Fahrers, ausgegeben werden (Relevanzaspekt). Die prototypischen Systemauslegungen beider FAS werden abschließend in Probandenversuchen evaluiert sowie die daraus resultierenden Ergebnisse vorgestellt und diskutiert.

Die autonome Navigation stellt neben der Interaktionsfähigkeit eine Grundlage für die Funktion eines mobilen Serviceroboters dar. Wichtige Teilleistungen sind dabei die Selbstlokalisation, die Pfadplanung und die Bewegungssteuerung unter Vermeidung von Kollisionen. Eine Voraussetzung für viele Navigationsaufgaben ist zudem die Erstellung eines Umgebungsmodells aus sensorischen Beobachtungen, unter Umständen in Verbindung mit einer selbständigen Exploration. Diese Teilprobleme wurden in der vorgelegten Arbeit vor dem Hintergrund der Entwicklung eines interaktiven mobilen Shopping-Lotsen bearbeitet, welcher Kunden eines Baumarktes Informationen zu Produkten zur Verfügung stellen und sie auf Wunsch zum Standort der gesuchten Waren führen kann. Den methodischen Kern der Arbeit bildet die initiale Umgebungskartierung. Dafür wurde ein Verfahren zum Simultaneous Localization and Mapping (SLAM) entwickelt, welches im Gegensatz zu vergleichbaren Ansätzen nicht auf den Einsatz hochgenauer Laser-Range-Scanner ausgerichtet ist. Stattdessen wurden hauptsächlich Sonar-Sensoren benutzt, die sich durch eine wesentlich geringere räumliche Auflösung und höhere Messunsicherheit auszeichnen. Der entwickelte Map-Match-SLAM-Algorithmus beruht auf dem bekannten Rao-Blackwellized Particle Filter (RBPF), welcher mit einer lokalen Karte zur Repräsentation der aktuellen Umgebungsbeobachtungen sowie einer Map-Matching-Methode zum Vergleich der lokalen und globalen Karte kombiniert wurde. Durch eine speichereffiziente Darstellung der globalen Karte und dynamische Adaption der Partikel-Anzahl ist trotz der aus den sensorischen Beschränkungen resultierenden großen Zustandsunsicherheit die Online-Kartierung möglich. Durch die Transformation der Beobachtungen in eine lokale Karte und die sensorunabhängige Bewertungsfunktion ist das Map-Match-SLAM Verfahren für ein breites Spektrum unterschiedlicher Sensoren geeignet. Dies wurde exemplarisch durch die Kartierung unter Nutzung einer Stereo-Kamera-Anordnung und einer einfachen Kamera in Verbindung mit einem Depth-from-Motion-Verfahren gezeigt. Aufbauend auf dem Kartierungsalgorithmus wurde zudem ein SLAM-Assistent entwickelt, welcher während der Kartierungsphase Aktionsvorschläge für den menschlichen Bediener präsentiert, die eine optimale Funktion des SLAM-Algorithmus gewährleisten. Der Assistent stellt damit eine Zwischenstufe zwischen rein manueller Steuerung und komplett autonomer Exploration dar. Einen weiteren Schwerpunkt der Arbeit stellen die Verfahren für die autonome Funktion des Roboters dar. Für die Selbstlokalisation wird ebenso wie beim SLAM ein Map Matching mit lokalen Karten eingesetzt. Eine Verbesserung der Robustheit und Genauigkeit wird durch die Kombination dieses Ansatzes mit einem vorhandenen visuellen Selbstlokalisations-Verfahren auf Basis einer omnidirektionalen Kamera erzielt. Für die Bestimmung des optimalen Pfades zu einem Zielpunkt kommen Standard-Algorithmen zur Pfadsuche in Graphen zum Einsatz, die Zellen der Karte werden dazu als Graphknoten interpretiert. Die Arbeit präsentiert vergleichende Untersuchungen zur Effizienz von Algorithmen mit und ohne Suchheuristik (A*/Dijkstra-Algorithmus) in der konkreten Einsatzumgebung. Für die Bewegungssteuerung und Kollisionsvermeidung wurden zwei verschiedene Algorithmen entwickelt: Einem reaktiven Verfahren, welches eine Weiterentwicklung des bekannten Vector Field Histogram (VFH) darstellt, wird ein neues antizipatives Verfahren auf Basis von Sampling und stochastischer Suche im Raum der möglichen Bewegungstrajektorien gegenüber gestellt und experimentell verglichen. Die entwickelten Methoden kommen auf mehreren Shopping-Robotern zum Einsatz, die sich seit ca. sechs Monaten im dauerhaften öffentlichen Testbetrieb in einem Baumarkt befinden. Neben den Navigationsmethoden gibt die Arbeit einen Überblick über die weiteren Module des Roboters, z.B. für die Nutzer-Interaktion, und beschreibt detailliert die Steuerarchitektur zur Koordinierung der Teilleistungen. Die Eignung aller eingesetzten Methoden für den Einsatz in einer realen Anwendung und die hohe Akzeptanz der Nutzer für das entwickelte Gesamtsystem werden durch die Auswertung von Langzeittests nachgewiesen.

The paper describes progress achieved in our long-term research project SHOPBOT, which aims at the development of an intelligent and interactive mobile shopping assistant for everyday use in shopping centers or home improvement stores. It is focusing on recent progress concerning two important methodological aspects: (i) the on-line building of maps of the operation area by means of advanced Rao-Blackwellized SLAM approaches using both sonar-based gridmaps as well as vision-based graph maps as representations, and (ii) a probabilistic approach to multi-modal user detection and tracking during the guidance tour. Experimental results of both the map building characteristics and the person tracking behavior achieved in an ordinary home improvement store demonstrate the reliability of both approaches. Moreover, we present first very encouraging results of long-term field trials which have been executed with three robotic shopping assistants in another home improvement store in Bavaria since March 2008. In this field test, the robots could demonstrate their suitability for this challenging real-world application, as well as the necessary user acceptance.

In this paper we define and address the problem of safe exploration in the context of reinforcement learning. Our notion of safety is concerned with states or transitions that can lead to damage and thus must be avoided. We introduce the concepts of a safety function for determining a state's safety degree and that of a backup policy that is able to lead the controlled system from a critical state back to a safe one. Moreover, we present a level-based exploration scheme that is able to generate a comprehensive base of observations while adhering safety constraints. We evaluate our approach on a simplified simulation of a gas turbine.

Methoden der vision-basierten Nutzerwahrnehmung für eine natürliche Interaktion mit mobilen Servicerobotern Im Gegensatz zur zwischenmenschlichen Kommunikation, bei der die Beziehungsebene im Vergleich zur Sachebene den weitaus größeren Anteil einnimmt, wird diese bei der Mensch-Roboter-Interaktion bislang nur in Ansätzen berücksichtigt. Insbesondere die Nutzerwahrnehmung bleibt in der Regel auf eine reine Personendetektion oder ein einfaches Personen-Tracking beschränkt. Vor diesem Hintergrund wurde eine verbesserte Wahrnehmung des aktuellen Zustandes des Nutzers als Voraussetzung für eine Personalisierung des Dialogs als Zielstellung dieser Arbeit abgeleitet. Beim exemplarischen Anwendungsszenario handelt es sich um einen Shopping-Assistenten, der in einem Baumarkt den Kunden bei der Suche nach Produkten behilflich ist. Dieser sollte zumindest einen gewissen Grad an sozialer Kompetenz zeigen, indem er z.B. Personen in seiner Umgebung detektiert und während der Interaktion kontinuierlich Blickkontakt hält. Um Nutzermodelle erstellen, kurzzeitig verlorene Nutzer wiedererkennen und den Gemütszustand des Nutzers abschätzen zu können, sollen Geschlecht, Alter, Identität und Gesichtsausdruck des Nutzers aus einem Videobild ermittelt werden. Für die Realisierung dieser Aufgabe wurde eine biologisch motivierte Aufteilung in ein peripheres und ein foveales Vision-System vorgeschlagen. Das periphere System arbeitet auf den Bildern einer omnidirektionalen Kamera und verfügt damit über einen sehr großen Sichtbereich, aber nur eine vergleichsweise geringe Auflösung. In diesem System werden zunächst Hypothesen über die Position von Personen im Umfeld des Roboters gebildet. Dafür werden Hautfarbe, Bewegung und Entfernung in einer Auffälligkeitskarte integriert und auffällige Bildbereiche mittels eines Multi-Target-Trackers verfolgt. Für die omnidirektionale Kamera wurde ein automatischer Weißabgleich entwickelt, der die Hautfarbdetektion unempfindlich gegen Änderungen der Chrominanz der Beleuchtung macht. Nach Auswahl einer Nutzerhypothese wird der Kopf des Roboters kontinuierlich in die entsprechende Richtung ausgerichtet. Damit erhält der Nutzer zum einen eine Rückmeldung über die gerichtete Aufmerksamkeit des Roboters während der Interaktion. Zum anderen kann der Roboter hochaufgelöste Bilder der Person aufnehmen, so dass eine weitere nachfolgende Analyse ermöglicht wird. Diese ist wiederum in zwei Teilschritte unterteilt. Der erste Schritt besteht aus einer Detektion des Gesichtes und einer anschließenden Detektion der Augen, anhand derer eine normalisierte Darstellung des Gesichtes erzeugt wird. Für den Analyseschritt wurden das Elastic-Graph-Matching, die Independent Component Analysis und die Active-Appearance Models implementiert und vergleichend untersucht. Unter Berücksichtigung der Anforderungen einer Geschlechts-, Alters-, Mimik- und Identitätsschätzung wurde hierfür eine umfassende Gesichtsdatenbank zum Training und zum Test der Verfahren angelegt. Die Leistungsfähigkeit des Gesamtsystems wurde schließlich anhand von empirischen Experimenten demonstriert.

Diese Arbeit untersucht die biologischen Ursachen des psycho-akustischen Präzedenz Effektes, der Menschen in die Lage versetzt, akustische Echos während der Lokalisation von Schallquellen zu unterdrücken. Sie enthält ein Modell zur Echo-Unterdrückung während der Schallquellenlokalisation, welches in technischen Systemen zur Mensch-Maschine Interaktion eingesetzt werden kann. - Die Grundlagen dieses Modells wurden aus eigenen elektrophysiologischen Experimenten an der Mongolischen Wüstenrennmaus gewonnen. Die dabei erstmalig an der Wüstenrennmaus erzielten Ergebnisse, zeigen ein besonderes Verhalten spezifischer Zellen im Dorsalen Kern des Lateral Lemniscus, einer dedizierten Region des auditorischen Hirnstammes. Die dort sichtbare Langzeithemmung scheint die Grundlage für die Echounterdrückung in höheren auditorischen Zentren zu sein. Das entwickelte Model war in der Lage dieses Verhalten nachzubilden, und legt die Vermutung nahe, dass eine starke und zeitlich präzise Hyperpolarisation der zugrundeliegende physiologische Mechanismus dieses Verhaltens ist. - Die entwickelte Neuronale Modellarchitektur modelliert das Innenohr und fünf wesentliche Kerne des auditorischen Hirnstammes in ihrer Verbindungsstruktur und internen Dynamik. Sie stellt einen neuen Typus neuronaler Modellierung dar, der als Spike-Interaktionsmodell (SIM) bezeichnet wird. SIM nutzen die präzise räumlich-zeitliche Interaktion einzelner Aktionspotentiale (Spikes) für die Kodierung und Verarbeitung neuronaler Informationen. Die Basis dafür bilden Integrate-and-Fire Neuronenmodelle sowie Hebb'sche Synapsen, welche um speziell entwickelte dynamische Kernfunktionen erweitert wurden. Das Modell ist in der Lage, Zeitdifferenzen von 10 mykrosekunden zu detektieren und basiert auf den Prinzipien der zeitlichen und räumlichen Koinzidenz sowie der präzisen lokalen Inhibition. - Es besteht ausschließlich aus Elementen einer eigens entwickelten Neuronalen Basisbibliothek (NBL) die speziell für die Modellierung verschiedenster Spike-Interaktionsmodelle entworfen wurde. Diese Bibliothek erweitert die kommerziell verfügbare dynamische Simulationsumgebung von MATLAB/SIMULINK um verschiedene Modelle von Neuronen und Synapsen, welche die intrinsischen dynamischen Eigenschaften von Nervenzellen nachbilden. Die Nutzung dieser Bibliothek versetzt sowohl den Ingenieur als auch den Biologen in die Lage, eigene, biologisch plausible, Modelle der neuronalen Informationsverarbeitung ohne detaillierte Programmierkenntnisse zu entwickeln. Die grafische Oberfläche ermöglicht strukturelle sowie arametrische Modifikationen und ist in der Lage, den Zeitverlauf mikroskopischer Zellpotentiale aber auch makroskopischer Spikemuster während und nach der Simulation darzustellen. - Zwei grundlegende Elemente der Neuronalen Basisbibliothek wurden zur Implementierung als spezielle analog-digitale Schaltungen vorbereitet.Erste Silizium Implementierungen durch das Team des DFG Graduiertenkollegs GRK 164 konnten die Möglichkeit einer vollparallelen on line Verarbeitung von Schallsignalen nachweisen. Durch Zuhilfenahme des im GRK entwickelten automatisierten Layout Generators wird es möglich, spezielle Prozessoren zur Anwendung biologischer Verarbeitungsprinzipien in technischen Systemen zu entwickeln. Diese Prozessoren unterscheiden sich grundlegend von den klassischen von Neumann Prozessoren indem sie räumlich und zeitlich verteilte Spikemuster, anstatt sequentieller binärer Werte zur Informationsrepräsentation nutzen. Sie erweitern das digitale Kodierungsprinzip durch die Dimensionen des Raumes (2 dimensionale Nachbarschaft) der Zeit (Frequenz, Phase und Amplitude) sowie der zeitlichen Dynamik analoger Potentialverläufe. - Diese Dissertation besteht aus sieben Kapiteln, welche den verschiedenen Bereichen der Computational Neuroscience gewidmet sind. - Kapitel 1 beschreibt die Motivation dieser Arbeit welche aus der Absicht rühren, biologische Prinzipien der Schallverarbeitung zu erforschen und für technische Systeme während der Interaktion mit dem Menschen nutzbar zu machen. Zusätzlich werden fünf Gründe für die Nutzung von Spike-Interaktionsmodellen angeführt sowie deren neuartiger Charakter beschrieben. - Kapitel 2 führt die biologischen Prinzipien der Schallquellenlokalisation und den psychoakustischen Präzedenz Effekt ein. Aktuelle Hypothesen zur Entstehung dieses Effektes werden anhand ausgewählter experimenteller Ergebnisse verschiedener Forschungsgruppen diskutiert. - Kapitel 3 beschreibt die entwickelte Neuronale Basisbibliothek und führt die einzelnen neuronalen Simulationselemente ein. Es erklärt die zugrundeliegenden mathematischen Funktionen der dynamischen Komponenten und beschreibt deren generelle Einsetzbarkeit zur dynamischen Simulation spikebasierter Neuronaler Netzwerke. - Kapitel 4 enthält ein speziell entworfenes Modell des auditorischen Hirnstammes beginnend mit den Filterkaskaden zur Simulation des Innenohres, sich fortsetzend über mehr als 200 Zellen und 400 Synapsen in 5 auditorischen Kernen bis zum Richtungssensor im Bereich des auditorischen Mittelhirns. Es stellt die verwendeten Strukturen und Parameter vor und enthält grundlegende Hinweise zur Nutzung der Simulationsumgebung. - Kapitel 5 besteht aus drei Abschnitten, wobei der erste Abschnitt die Experimentalbedingungen und Ergebnisse der eigens durchgeführten Tierversuche beschreibt. Der zweite Abschnitt stellt die Ergebnisse von 104 Modellversuchen zur Simulationen psycho-akustischer Effekte dar, welche u.a. die Fähigkeit des Modells zur Nachbildung des Präzedenz Effektes testen. Schließlich beschreibt der letzte Abschnitt die Ergebnisse der 54 unter realen Umweltbedingungen durchgeführten Experimente. Dabei kamen Signale zur Anwendung, welche in normalen sowie besonders stark verhallten Räumen aufgezeichnet wurden. - Kapitel 6 vergleicht diese Ergebnisse mit anderen biologisch motivierten und technischen Verfahren zur Echounterdrückung und Schallquellenlokalisation und führt den aktuellen Status der Hardwareimplementierung ein. - Kapitel 7 enthält schließlich eine kurze Zusammenfassung und einen Ausblick auf weitere Forschungsobjekte und geplante Aktivitäten.Diese Arbeit möchte zur Entwicklung der Computational Neuroscience beitragen, indem sie versucht, in einem speziellen Anwendungsfeld die Lücke zwischen biologischen Erkenntnissen, rechentechnischen Modellen und Hardware Engineering zu schließen. Sie empfiehlt ein neues räumlich-zeitliches Paradigma der dynamischen Informationsverarbeitung zur Erschließung biologischer Prinzipien der Informationsverarbeitung für technische Anwendungen.