Das Unsichtbare sichtbar machen – für Gesundheit und Kreislaufwirtschaft

Hochleistungsfähige Bildgebungstechnologien zu entwickeln, die sensorische Informationen wie Farbe, Tiefe, Spektral- und Wärmedaten kombinieren, und im Zuge der Digitalisierung für KMU nutzbar zu machen: Das war das Ziel des 2022 gestarteten RUBIN-Bündnis AMI, koordiniert von Steffen Lübbecke von der Steinbeis Qualitätssicherung und Bildverarbeitung GmbH Ilmenau und Prof. Gunter Notni, Leiter des Fachgebiets Qualitätssicherung und Industrielle Bildverarbeitung an der TU Ilmenau. Prof. Notni:

Multimodale Bildgebung erlaubt es uns, Gegenstände und Stoffe und auch deren Eigenschaften sichtbar zu machen, die mit einzelnen Sensoren oder dem bloßen Auge verborgen bleiben. Die intelligente Kombination dieser Daten schafft echten Mehrwert für Anwendungen in Industrie und Medizin.

So entstanden im Projekt drei neuartige Systemlösungen für Anwendungen in industriellen Wachstumsfeldern, die für Thüringen besonders relevant sind: ein sortenreines Rücknahmesystem für Kunststoff-Gebinde wie Plastikbecher, Getränke- oder Shampoflaschen, ein Analysegerät für Bauschuttrezyklate und ein System für die miniaturisierte Vital- und Aktivitätssensorik von Personen.

Die entwickelten Demonstratoren basieren auf multispektralen Kamerasystemen auf Basis neuester Sensortechnologie, zum Beispiel der sogenannten SenSWIR-Technologie, echtzeitfähigen 3D-Sensorsystemen, die auch für die 3D-Erfassung transparenter Objekte eingesetzt werden können, oder Infrarot- und Thermalkameras im SWIR- und LWIR-Spektralbereich. 

Ergänzt und kombiniert wurden diese neuartigen multimodal bildgebenden Systeme durch KI-basierte Algorithmen, um die hochkomplexen und speicherintensiven multimodalen Bilddaten auszuwerten und für die Materialklassifikation im Recycling, die robuste Objekterkennung unter schwierigen Umweltbedingungen und die kontaktlose Erfassung von Vital- und Aktivitätsparametern nutzbar zu machen.

Intelligente Sensorik für besseres Recycling

Die SenSWIR-Sensortechnologie ermöglicht erstmals Materialien gleichzeitig vom sichtbaren Licht bis in den kurzwelligen Infrarotbereich (SWIR) zu erfassen. Das eröffnete neue Wege für das Recycling, denn Materialien lassen sich dadurch deutlich besser erkennen. In Verbindung mit Künstlicher Intelligenz konnten Kunststoffe zuverlässig in bis zu acht Sorten unterschieden werden – eine wichtige Voraussetzung für sortenreine Rücknahmesysteme im Handel. Auch Bauschutt ließ sich so präzise analysieren und in 24 unterschiedliche Materialklassen einteilen. Bau- und Abbruchabfälle wie Beton, Ziegeln, Fliesen oder Keramik zuverlässig zu erkennen, ist die Grundlage dafür, sie im Sinne der Kreislaufwirtschaft als hochwertige Recycling-Baustoffe wiederzuverwenden, beispielsweise im Hoch- und Tiefbau als Zuschlagstoffe für neuen Beton oder im Straßenbau. 

Gesundheitsdaten ohne Berührung präzise erfassen

Vitaldaten ohne direkten Körperkontakt präzise zu erfassen gilt als Schlüsseltechnologie für viele zukünftige Anwendungen – von der Gesundheitsüberwachung bis hin zu Assistenzsystemen. Zwar stehen heute schon kamerabasierte Verfahren zur Verfügung, doch sie funktionieren häufig nur unter idealen Bedingungen. In realen Situationen werden sie schnell unzuverlässig: Bewegungen, veränderte Gesichtsausdrücke, verdeckte Hautpartien oder schwankende Lichtverhältnisse überlagern die ohnehin sehr schwachen physiologischen Signale. Viele bestehende Systeme benötigen deshalb lange Messzeiten oder liefern bei dynamischen Szenarien ungenaue Ergebnisse. Für einen stabilen Einsatz im Alltag – auch bei Dunkelheit oder wechselnden Umgebungen – sind daher neue Mess- und Auswerteansätze notwendig, die relevante Vitalinformationen sicher von äußeren Störeinflüssen trennen können.

Grundlage für den im RUBIN-Bündnis AMI an der TU Ilmenau entwickelten kamerabasierten Vitalsensor sind miniaturisierte Multi-Apertur-Kamerasysteme mit anwendungsspezifisch abgestimmten spektralen Filtern. Erfasst werden unter anderem Herzrate und Herzratenvariabilität, Atemfrequenz, Sauerstoffsättigung, Aktivität und Bewegungsmuster sowie Indikatoren zur Schmerzdetektion. 

Robuste Detektion auch bei Bewegung und wechselnden Umweltbedingungen

Die Auswertung der Daten erfolgt über KI-basierte Algorithmen, die speziell für hochkomplexe multimodale Bilddaten entwickelt wurden und eine robuste Detektion auch bei Bewegung oder wechselnden Umgebungsbedingungen ermöglichen.

Die Messergebnisse erreichen eine hohe Genauigkeit: Abweichungen von unter 1 bpm bei der Atemfrequenz und rund 3 bpm bei der Herzrate im Vergleich zu kontaktbehafteten Referenzsystemen zeigen, so Prof. Notni, dass kontaktlose Verfahren zunehmend klinisch relevante Qualität erreichen:

Unser Ziel war es, Vitalparameter zuverlässig und alltagstauglich zu erfassen – ohne Sensoren auf der Haut. Die Ergebnisse zeigen, dass multimodale Bildgebung und KI diesen Anspruch erfüllen können.

Insgesamt arbeiteten elf Partner aus Wirtschaft und Wissenschaft im Bündnis zusammen. Die Ergebnisse spiegeln sich in über 30 wissenschaftlichen Publikationen, einer Patentanmeldung sowie zahlreichen Qualifikationsarbeiten wider.

Prof. Notni: 

Der Vitalsensor der TU Ilmenau zeigt exemplarisch, wie angewandte Forschung, künstliche Intelligenz und interdisziplinäre Zusammenarbeit Lösungen für zentrale gesellschaftliche Herausforderungen ermöglichen können – von der berührungslosen Gesundheitsüberwachung bis hin zu neuen Assistenzsystemen in Pflege, Arbeitswelt und Medizin.

Über das RUBIN-Bündnis AMI

Im RUBIN-Bündnis AMI forschten und entwickelten elf Bündnispartner, bestehend aus acht kleinen und mittleren Unternehmen vorrangig aus Thüringen und einem Partner aus Sachsen sowie drei Forschungspartnern, der Technischen Universität Ilmenau mit dem Fachgebiet Qualitätssicherung und Industrielle Bildverarbeitung, dem Fraunhofer-Institut für Angewandte Optik und Feinmechanik IOF in Jena und der außeruniversitären Forschungseinrichtung MFPA Materialforschungs- und -prüfanstalt in Weimar. Zu den Unternehmen gehören die SQB GmbH in Ilmenau, die Vision & Control GmbH in Suhl, die Sielaff GmbH & Co. KG Automatenbau in Ilmenau, das Zentrum für Bild- und Signalverarbeitung e. V. in Ilmenau, die LUCAS instruments GmbH in Jena, die InfraTec GmbH in Dresden, die TechnoTeam Bildverarbeitung GmbH in Ilmenau und die 3plusplus GmbH in Suhl. 

Das Bündnis wurde vom Bundesministerium für Forschung, Technologie und Raumfahrt innerhalb des Programms "RUBIN - Regionale unternehmerische Bündnisse für Innovation" für einen Zeitraum von drei Jahren mit insgesamt 9 Mio.€ gefördert.

Mehr Informationen zum RUBIN-AMI-Bündnis