Productive teaming

Am 4. September bis 8. September 2023 findet das 60. Ilmenau Scientific Colloquium statt. Für die Session 5 - Productive teaming - beteiligt sich unser Fachgebiet mit einem Beitrag:
"Investigations of closed source registration method of depth sensor technologies for human-robot collaboration".

Productive teaming ist die neuse Form der Mensch-Roboter-Interaktion, die die Zusammenarbeit von Menschen und Maschinen im Umfeld der industriellen Produktion auf eine neue Ebene hebt. Es soll eine neue Generation von dynamischen Mensch-Maschine Teams in Produktionssystemen ermöglicht werden, welche komplexe und adaptive Herausforderungen bewältigen können. Die multimodale 3D-Bildgebung hat hierbei eine wichtige Schlüsselrolle, um ein umfassenderes Verständnis der Produktion zu gewinnen sowie eine vertrauensvolle Zusammenarbeit von den Teams zu ermöglichen. Um die multimodalen Daten für eine Bildanalyse zu nutzen, müssen diese zuvor registriert werden. Je nach Registriermethode treten unterschiedliche Herausforderungen auf. Eine Herausforderung ist die unterschiedliche Auflösung der Sensoren. Dies hat zur Folge, dass bei einer Projektion einer niedrig aufgelösten Punktwolke in ein hochaufgelöstes Zielbild je nach Projektionsmethode falsche Lücken im Zielbild auftreten. Derzeit werden häufig für Mensch-Roboter Kollaborationen kostengünstige RGB-D Sensoren verwendet. Bei diesen wird meist eine closed-source Software Development Kit (SDK) oder Treiber vom Hersteller mitgeliefert. Diese ermöglichen die Registrierung bzw. Projektion schon in der Hardware bei der Datenaufnahme oder im Nachgang. Diese Projektionsmethoden können jedoch nur für die jeweiligen Sensoren angewendet werden. Um eine effiziente und frei verfügbare Projektionsmethode für beliebige Sensoren (und unterschiedliche Modalitäten) zu haben, haben wir eine eigene Projektionsmethode, namens Triangle-Mesh-Rasterization-Projection (TMRP) ..., entwickelt.

Unsere TMRP Methode basiert auf einem effizienten polygonbasierten Upsampling, welches die originalen 2D-Nachbarschaften der source Daten nutzt. Um die Leistung unserer Methode zu überprüfen, vergleichen wir diese mit der closed source Projektionsfunktion des Azure Kinect Sensors (Microsoft) hinsichtlich:
(i) Berücksichtigung valider Lücken
(ii) Vermeidung von falschen Nachbarn und falschen Lücken
(iii) Separierung von Vorder- und Hintergrund sowie
(iv) die XYZ-Abhängigkeit der Dichte.

Der qualitative Vergleich zeigte, dass beide Methode nahezu identische Ergebnisse liefern. Minimalen Unterschiede an den Kanten deuten darauf hin, dass beide Projektionsmethoden entweder leicht unterschiedliche Interpolationsmethoden nutzen oder Microsoft eine effiziente kantenerhaltende Glättung im Nachgang durchführt. Bei ersterem wäre unsere TMRP- Interpolation akurater. Mit der TMRP-Methode liegt jetzt eine frei-verfügare open-source Registrierungsmethode vor, die auf nahezu beliebige multimodale 3D-/2D-Bilddatensätze anwendbar ist und nicht wie die für Microsoft-Produkte optimierte microsoft SDK.

60th Ilmenau Scientific Colloquium "Engineering for a Changing World"...