Forschung
Laufende Projekte
2D-/3D-Bildverarbeitung
Das Forschungsprojekt Engineering for Smart Manufacturing (E4SM) hat zum Ziel, innovative Methoden zur Entwicklung von Assistenzsystemen für die intelligente Fertigung in industriellen Szenarien auf der Grundlage des maschinellen Lernens zu untersuchen. Im Rahmen von Industry 4.0 sollen insbesondere die Anforderungen und Besonderheiten für die Fertigung in kleinen und mittleren Unternehmen (KMU) betrachtet werden. Die im Rahmen dieses Projekts zu erforschenden und zu entwickelnden Methoden sollen auf zwei industrielle Szenarien angewandt werden: Das vorrichtungsfreie Laserstrahlschweißen und die variantenreichen Monatgeprozesse.
Der Schwerpunkt liegt auf integrierten und ganzheitlichen Engineering-Methoden für die Anwendung von lernbasierten Assistenzsystemen in der Fertigung. Dazu sollen entwickelte Teillösungen in den wichtigen Kernbereichen kollaborative Assistenzrobotik, latenzarme 3D-Sensornetzwerke, Management und Analyse heterogener Daten aus industriellen Fertigungsprozessen sowie IT-Sicherheit und IT-Sicherheit in einen ganzheitlichen Software-Engineering-Prozess integriert werden. Darüber hinaus soll die Einbeziehung von Industriepartnern dazu beitragen, den Einsatz von maschinellen Lern- und Assistenzsystemen für KMU projektierbarer und kontrollierbarer zu machen, um die Akzeptanzschwelle zu senken.
Projekthomepage: https://www.e4sm-projekt.de/
Bewilligungszeitraum: 01.05.2019 bis 30.04.2023, Carl Zeiss Stiftung,
Aktenzeichen der Mittelzuweisung durch die Carl-Zeiss-Stiftung: P2017-01-005
Echtzeit-3D-Multikamerainspektion für Elektronikbaugruppen
Für die Qualitätskontrolle großformatiger Leiterkarten bieten sich insbesondere arraybasierte System an. Vorteil dieser Systeme ist die Einsparung einer Bewegungsachse durch eine matrixorganisierte Kameraanordnung. Derzeit arbeiten die meisten Systeme für einfache Erkennungsaufgaben bei AOI Systemen im 2D Bereich. Eine Erweiterung dieser Systeme könnte zusätzliche Vorteile bei der Inspektion ergeben. So könnten Fehlbestückungen durch die Hinzunahme der dritten Dimension besser automatisch erkannt werden. Hier setzt der Forschungsansatz der TU-Ilmenau an. Durch die Einbringung von zusätzlichen Informationen beispielsweise durch Musterprojektionen oder bewegten Scanlinien sollen die 3D Informationen in Kombination mit den Kamerasystemen errechnet werden. Ziel ist es auch kostengünstige Projektionssysteme aus dem Konsumermarkt zu evaluieren und gegebenenfalls einzusetzen umso eine höhere Abtastdichte zu erreichen. Durch zeitlich modulierte Scanverfahren sollen Bildraten für eine Fläche von 450x550 mm² von ca. einer Sekunde erreicht werden.
Die Förderung erfolgt durch das Bundesministerium für Wirtschaft und Klimaschutz im Rahmen des Programms „Zentrales Innovationsprogramm Mittelstand (ZIM)“.
Förderkennzeichen: KK5007909ER1
Laufzeit: 01.05.2021 - 30.04.2023
Das Projekt Quantum Hub Thüringen (QHubTh) behandelt neue Forschungs- und Umsetzungsstrategien für Quantentechnologien. Im Rahmen des Teilprojektes der Technischen Universität Ilmenau, Fakultät Maschinenbau, Fachgebiet Qualitätssicherung und Industrielle Bildverarbeitung zur Quantenbildgebung - Qi3.4, werden neuartige Bildgebungssysteme, welche auf speziell manipulierten Photonen basieren, untersucht und dabei Verbesserungspotenziale hinsichtlich der Detektoren ausgewertet. Auf Basis bestehender Modellansätze werden hierfür Methodiken erforscht, um quantenoptische Parameter modellbasiert zu ermitteln.
Die Fähigkeit, quantenphysikalische Eigenschaften wie Korrelation in Position und Impuls oder der Photonenzahlcharakteristik zu bestimmen, sind essenziell, um neue Charakterisierungsmethoden für diverse Kameratypen wie EMCCDs, ICCDs, sCMOS oder SPAD-Arrays zu entwickeln. Dafür wird ein Prüfstand entwickelt, welcher anhand neuer Methodiken eine Evaluierung des Anwendungsspektrums und eine weitere Ableitung von Optimierungsstrategien für den zukünftigen Einsatz von Bildgebungssystemen in der Quantenbildgebungermöglicht.
Durch enge Zusammenarbeit mit weiteren Arbeitspaketen (AP) des Quantum Hub Projektes wird eine solche quantentechnische Sensorevaluierung erreicht, um im endgültigen Ziel des Projektes die Bildgebungsprozesse zu stabilisieren und zu optimieren. Eine Optimierung der neuartigen Quantenbildgebungsmethoden aus anderen AP wird so über eine Rückführung der hier bestimmten optimalen Betriebseinstellungen der Detektoren ermöglicht.
Gefördert durch das Thüringer Ministerium für Wirtschaft, Wissenschaft und digitale Gesellschaft sowie die Thüringer Aufbaubank
Laufzeit: 01.05.2021 - 31.12.2023
Das additive Fertigungsverfahren Binder Jetting erlebt eine Renaissance. Beim Binder Jetting wird ein flüssiges Bindemittel selektiv aufgetragen, um Pulverteilchen Schicht für Schicht zu verbinden, wobei am Ende des Druckvorgangs, die Teile in einem zerbrechlichen, grünen Zustand sind. Danach wird in den nächsten Bearbeitungsschritten der Grünling von Pulverresten befreit und anschließend in verschiedenen Öfen unter kontrollierter Atmosphäre ausgehärtet und gesintert. Für ein bestmögliches Ergebnis der Oberflächenqualität ist es von höchster Wichtigkeit, den Grünling vor der Wärmebehandlung restlos von anhaftendem Metallpulver zu reinigen. Dieser Arbeitsschritt wird derzeit vollständig manuell mit einer Druckluftspritze durchgeführt und ist damit ein relevanter Zeitfaktor in der Kette der Nachbearbeitungsschritte. Zusätzlich ist dieser manuelle Schritt anfällig für verschiedene Fehler, wie bspw. das Übersehen von Pulverresten sowie der mechanischen Beschädigung des Grünlings durch nicht belastungsgerechte Handhabung (Kippen, Ablegen).
Um den Arbeitsschritt des Entpulverns schneller, zuverlässiger und sicherer zu gestalten, wird in dem vorliegenden FuE-Projekt eine roboterarm-assistierte Entpulverungskabine entwickelt, die den gesamten Teilprozess automatisiert und reproduzierbar abbildet. In diesem Kontext erforscht die TU Ilmenau Ansätze zur Berechnung von Bewegungsprofilen aus den CAD-Daten der Bauteilgeometrie.
Die Förderung erfolgt durch das Bundesministerium für Wirtschaft und Klimaschutz im Rahmen des Programms „Zentrales Innovationsprogramm Mittelstand (ZIM)“.
Förderkennzeichen: 16KN108930
Laufzeit: 01.10.2023 - 30.09.2025
Multimodale und multispektrale Bildverarbeitung
Im Mittelpunkt des Projektes "KI für die Fusion und Verarbeitung multimodaler Bilddatenströme und A priori-Daten (KIMBA)" stehen industrielle Anwendungen der Qualitätssicherung und die hierbei eingesetzten vielfältigen, an den Objekteigenschaften orientierten multimodalen Bildgebungsverfahren.
Diese bildhaften Informationen werden derzeit im wesentlichen regelbasiert für Erkennungsaufgaben und zur Entscheidungsfindung genutzt, wobei auch heute schon neuronal motivierte Verfahren der Datenverarbeitung genutzt werden. Änderungen der Bildgebung und / oder der auszuwertenden Bildobjekte erfordern jedoch immer große Anpassungsaufwände der vorhandenen Erkennungslösung eines Prüfsystems. Die Verbesserung der Vertrauenswürdigkeit von Prüfentscheidungen ist zudem eine wesentliche offene Fragestellung, die auch die weitere Verbreitung der KI in diesen Anwendungen bislang hemmt.
Zur Realisierung adaptiverer, robusterer Erkennungslösungen durch bessere Ausschöpfung multimodaler bildhafter Informationen sollen im Vorhaben KIMBA moderne Methoden der KI eingesetzt werden, die die Fragen
- Multimodale Datenauswahl und -fusion,
- Erkennung von Nachlernbedarfen, Verbesserung der Vertrauenswürdigkeit von Prüfentscheidungen
- Umsetzung automatisch nachlernener Systeme
in den Mittelpunkt stellen. Die Ergebnisse müssen die besonderen Anforderungen industrieller Anwendungen (Verfügbarkeit und Nutzung von a priori-Wissen, Gestaltung von einfachen Belehrungsprozessen, Laufzeiteffizienz und Ressourcenbedarf algorithmischer Lösungen) berücksichtigen.
Laufzeit: 01.04.2021 - 30.06.2023
Ziel des Vorhabens CONTURA ist die Entwicklung eines komplexen und effizient einsetzbaren Systems zur vollautomatischen Zustandserfassung von forstlichen Wegeanlagen (Fahrbahndecke und Lichtraumprofil), Zuordnung in Schadenkategorien und Ableitung notwendiger Maßnahmen einschließlich deren Kostenkalkulation. Relevante Bereiche für die Beschaffenheit sind der Wegekörper (Kronenbreite) mit Fahrbahn und Seitenstreifen, die sich seitlich anschließenden und Wasser ableitenden Grabensysteme, die Bewuchs tragenden Seitenbereiche (z.B. Böschungen) sowie das gesamte für die Wegebenutzung relevante Lichtraumprofil. Das System soll vollautomatisch schon bei der Befahrung eines Forstweges die Informationen über die Beschaffenheit in einem Datensatz speichern. Infolge dessen wird ein digitaler Zwilling als eine Art „Momentaufnahme“ des realen Objektes mit den entsprechenden, übertragbaren Attributen erstellt. Prinzipiell besteht der dem digitalen Zwilling zugehörige Datensatz aus einer Kombination von 3D Sensordaten von optischen Aufnahmesystemen sowie Daten aus einem geographischen Informationssystem (GIS). Mit Hilfe der Daten wird anschließend ein dem Zwilling inhärentes zweites künstliches neuronales Netz trainiert, um Instandhaltungsmaßnahmen aus dem Datenmassiv ableiten zu können. Neben dem sofortigen Zugriff auf Zustandseigenschaften des Waldweges bei Bedarf werden somit durch Nutzung des digitalen Zwillings Analysen in Form von Machbarkeitsuntersuchungen und Variantenstudien zu in Planung befindlichen Holzerntemaßnahmen, bis hin zu deren Simulation möglich. Eine Simulation könnte so beispielsweise die Nutzung anderer Wege - welche ebenso als digitaler Zwilling vorliegen - durchspielen, und somit Aussagen über Wirtschaftlichkeit, Beschädigungspotential und Aspekte des Naturschutzes liefern. Unter vorzugebenden Rand- bzw. Anfangsbedingungen kann dadurch ein Optimum zur Nutzung eines Wegenetzwerkes virtuell ermittelt und in digitaler Form an die in die jeweilige Maßnahme integrierten Maschinen übermittelt werden. Als Gesamtergebnis steht Forstbetrieben und Waldbesitzern erstmalig ein Planungstool zur Kalkulation von Instandsetzungsmaßnahmen, Refinanzierungsberechnungen und für die direkten Planungen der Holzernte hinsichtlich Logistik und möglichem Technikeinsatz zur Verfügung, was für eine nachhaltig wirkende Kapitalerhaltungsstrategie und ein Maximum an Naturschutz unabdingbare Voraussetzung ist.
Gefördert durch das Bundesministerium für Ernährung und Landwirtschaft, Projektnummer: 2220NR061
Projektträger: Fachagentur Nachwachsende Rohstoffe e.V.
Laufzeit: 01.04.2021 - 31.03.2024
TU Ilmenau / QBVDas Primärziel des Projektes NEON ist die Entwicklung eines multimodalen 3D-Kamerasystems für die robuste Schätzung von Vitalparametern. In diesem Kamerasystem soll die Hochgeschwindigkeits-3D-Bildgebung mit der Farbbildgebung, der multispektralen Bildgebung und der Thermografie kombiniert werden, um multimodale 3D-Bilddaten in Echtzeit zu generieren. Auf Basis der multimodalen 3D-Bilddaten sollen Vitalparameter wie Herzschlagfrequenz, Atemfrequenz, Sauerstoffsättigung, Körpertemperatur etc. abgeleitet werden. Diese Vitalparameterschätzung soll eine hohe Robustheit gegen typische Störungen aus klinischen und häuslichen Umgebungen aufweisen, dafür sind sowohl physikalisch-basierte als auch algorithmische Ansätze und Methoden zu erarbeiten. Darüber hinaus sind die Einflüsse der Hautfarbe auf die Vitalparameterschätzung zu untersuchen und es sind mögliche Ansätze mithilfe der Multispektraltechnik oder der Bildgebung im erweiterten Spektralbereich zur Kompensation der Einflüsse der Hautfarbe zu erarbeiten.
Zusätzlich ist aus dem Funktionsdemonstrator ein kompakter modularer multimodaler Bildsensor zu entwickeln. Dabei wird ein hoher Grad der Miniaturisierung und Modularität des Sensorkopfs hinsichtlich der Verwendung in klinischen und häuslichen Umgebungen angestrebt. Zudem ist eine irritationsfreie aktive Beleuchtung zu realisieren. Weil die simultane Verwendung der 2D-Kameras in verschiedenen Spektralbereichen bzw. Bildgebungsmodalitäten eine Fusion multimodaler 2D-Bilddaten erfordert, müssen die geometrischen Parameter dieser Kameras durch Kalibrierung ermittelt werden. Diesbezüglich sind Ansätze zur geometrischen Kalibrierung des multimodalen Bildsensors zu erarbeiten und untersuchen. Dafür notwendig ist die Gestaltung eines spezifischen Kalibriertargets, das bei allen Kameras erkennbar ist.
Projektpartner: Ruhrlandklinik (RLK), Universität Duisburg-Essen (UDE)
Laufzeit: 01.07.2021 - 30.06.2024
Gefördert durch die Deutsche Forschungsgemeinschaft (DFG), Projektnummer: 458611451.
Bauteile für Technologien zur Energierückgewinnung, Rektifikationsprozesse und/oder Umwelttechnik beispielsweise Katalysatoren bestehen zum Teil aus mehreren Lagen von strukturierten Folien mit Wandstärken von < 200 µm. Eine Effizienzsteigerung bei der Energierückgewinnung ist u.a. durch eine Reduzierung der Wandstärke erreichbar. Derzeit wird die minimal erreichbare Wandstärke durch die eingesetzte Verbindungstechnologie (u.a. Kleben) begrenzt. Das Vorhaben setzt sich zum Ziel, mehrdimensionale und strukturierte Folienstapel stoffschlüssig zu verbinden, um eine Reduzierung der Wandstärke zu erreichen und die Taktzeit bei der Herstellung solcher Stapel zu senken. Dabei steht die Entwicklung eines bildunterstützten laserbasierten Fügeprozesses im Zentrum, um dieser Problemstellung mittels Strahlschweißen zu begegnen. Der Fokus ist gerichtet auf Materialien mit geringem Absorptionsgrad im IR-Bereich und hoher Wärmeleitfähigkeit bei Folienstärken von < 200 µm. Um die hohen Anforderungen an den Fügeprozess zu gewährleisten, wird durch einen örtlich/zeitlich schnell veränderlichen Energieeintrag eine sichere Anbindung der Kontaktflächen im Vergleich zum einfachen Punktschweißen erreicht. Die Bestimmung der verdeckt liegenden Kontaktpunkte erfolgt durch eine multimodale bildgebende Sensorik (3D + Wärmebild) mit dem Ziel einer exakten Bestimmung der Soll-Schweißpunkte. Die angestrebten Ergebnisse stellen vor allem für kleine und mittelständische Unternehmen (KMU) neue Erkenntnisse und Entwicklungsmöglichkeiten zur Verfügung. So wäre eine erfolgreiche Überführung der Technologie in einen automatisierten Coil- (u.a. Rotationswärmetauscher) oder Stapelprozess (u.a. Strukturpackungen) ein Alleinstellungsmerkmal. Dadurch kann den KMU eine teilweise Kompensation des schwindenden Wettbewerbsvorteiles ermöglicht werden. Diese ergibt sich aus einer wissenschaftlich abgesicherten Entwicklung einer Prozessstrategie zum Schweißen von mehrdimensionalen und strukturierten Folienstapeln, sowie einer Echtzeit-Bestimmung der Soll-Schweißpunkte.
Projektpartner: ifw Jena - Günter-Köhler-Institut für Fügetechnik und Werkstoffprüfung GmbH
Projektlaufzeit: 01.11.2021 – 29.02.2024
Gefördert vom Bundesministerium für Wirtschaft und Klimaschutz
Ziel des Projektes ist es, durch den Einsatz neuester Bildsensortechnologien eine breitbandigere spektrale Abtastung beginnend vom sichtbaren Wellenlängenbereich (VIS, 400 - 700 nm) bis in den kurzwelligen Infrarotbereich (SWIR , 700 - 1650 nm+) abzudecken. Hierdurch wird eine Beurteilung chromatischer Eigenschaften gemeinsam mit langwelligen Spektralinformationen kombiniert. Insbesondere die Farbrepräsentation mit gleichzeitiger Abtastung beispielsweise der Wasserabsorbtionslinie bei 1450 nm sind für viele Anwendungen im Bio- Forst- oder Lebensmittelbereich extenziell. Hierfür mussten bisher mehrere Kamerasysteme miteinander kombiniert werden da aktuell keine monolithischen Sensoren für den benötigten Abtastbereich von 400 nm - 1650 nm+ zur Verfügung standen. Um die spektrale Separierung zu erreichen sollen im geplanten Projekt vollflächige Spektralfilter genutzt werden, die in das neue Multispektralkamerasystem sequenziell eingeschwenkt werden können und so eine hohe Flexibilität des Kamerasystems ermöglichen. Aufgrund typischer Spezifikationen des Auflagemaßes für Objektive stellt dies Forderung eine zentrale Forschungsfrage im Projekt. Weiterhin führt das stark nichtlineare Verhalten von typischen optischen Gläsern zu Problemen der chromatischen Aberrationen. Hierfür soll eine geeignete Methode gefunden werden die unterschiedlichen Bildorte über diesen breiten Abtastbereich mit hoher Bildgüte abzubilden. Neben den optisch-mechanischen Herausforderungen des Projektes muss zusätzlich eine effiziente Thermostatierung des Sensors sichergestellt werden, um gerade im langwelligen Bereich einen hohen Dynamikbereich abzusichern. Hierfür werden verschiedene thermische Konzepte untersucht und bewertet die dann in einen Demonstrator der Multispektralkamera MK1650+ einfließen werden.
Das vom Freistaat Thüringen geförderte Vorhaben wurde durch Mittel der Europäischen Union im Rahmen des Europäischen Fonds für regionale Entwicklung EFRE und von REACT-EU kofinanziert.
Das Verbundvorhaben wird von der Thüringer Aufbaubank gefördert: Projektnummer: 2021 FE 9001; Verbundvorhabensnummer: 2021 VF 0001
Bewilligungszeitraum: 01.01.2022 bis 30.06.2023
Das Projekt „VitAP“ zielt auf die Entwicklung eines miniaturisierten multimodalen 3D-Sensorsystems für die kontaktlose Vitalparametermessung sowie Aktivitätsschätzung. Dieses Sensorsystem soll die Erfassung von multispektralen, thermischen und dreidimensionalen Bilddaten in Echtzeit realisieren. Durch die Miniaturisierung soll ein sehr kompakter Sensorkopf entwickelt werden, der in verschiedene Szenarien integriert werden kann.
Der Kern der systemtechnischen Entwicklung ist die Entwicklung einer Multiapertur-Kamera auf Basis eines mikrooptischen Linsen-Array mit spektral-selektiven optischen Bandpassfiltern für die simultane Erfassung von mehrkanaligen Bilddaten im VIS-NIR-Bereich aus einer Einzelaufnahme. Dabei sind Bildkanäle bei spezifischen Wellenlängen für die 3D-Rekonstruktion von Personen, Vitalparametermessung und Aktivitätsanalyse festzulegen, wodurch verschiedenartige Bilddaten mit einer einzigen Kamera gewonnen werden können. Durch den Einsatz der Multiapertur-Kamera lässt sich die Anzahl von benötigten Bildsensoren stark reduzieren, um eine Miniaturisierung zu erzielen. Neben der Multiapertur-Kamera sind noch ein Echtzeit-3D-Scanner mit einem größeren Messfeld und eine kompakte Wärmebildkamera anzubringen. Das Sensorsystem soll modular entwickelt werden und eine flexible Kombination verschiedener Sensoren (Multiapertur-Kamera, Echtzeit-3D-Scanner, Wärmebildkamera) ermöglichen.
Aus den multimodalen 3D-Videodaten sollen Vitalparameter wie Herzschlagfrequenz, Atemfrequenz und Sauerstoffsättigung von überwachten Personen in Echtzeit ermittelt werden. Außerdem soll eine Aktivitätsschätzung auf Basis der Videodaten sowie ermittelten Vitalparameter mit dem Schwerpunkt der Bewertung des Wohlbefindens realisiert werden. Dazu zählen zum Beispiel die Bewertung des Komfortbefindens, Stressdetektion, Analyse der Schlafqualität etc. Für die Aktivitätsschätzung sollen KI-gestützte Algorithmen mit hoher Echtzeitfähigkeit für die Bild- und Vitaldatenverarbeitung entwickelt werden.
Das entwickelte Sensorsystem und die Software sollen in zwei Anwendungsszenerien, nämlich Krankenstation und Autofahrerraum, integriert werden. Zu demonstrieren und evaluieren sind letztendlich die Patientenüberwachung und Fahrerzustandsüberwachung.
Projektpartner: Fraunhofer IOF, AIM Micro Systems GmbH, Steinbeis Qualitätssicherung und Bildverarbeitung GmbH, Vision & Control GmbH, Zentrum für Bild- und Signalverarbeitung (ZBS) e.V., 3plusplus GmbH, LUCAS instruments GmbH
Fördermittelgeber: Bundesministerium für Bildung und Forschung (BMBF),
Förderkennzeichen: 03RU1U153C
Projektlaufzeit: 01.09.2022 - 31.08.2025
Ausgehend vom gemeinsamen Gesamtziel des Innovationsbasisprojekts „MoSys“, der Entwicklung und Evaluierung neuartiger multimodaler Bildgebungssysteme (siehe Verbundvorhabenbeschreibung MoSys), die insbesondere durch die Entwicklung verschiedener Module und deren Verknüpfung zu verschiedensten Sensoren das Erschließen von System- und Applikationsmärkten in bisher ungekannter Qualität ermöglichen, müssen relevante Module zur Realisierung und Verknüpfung ausgewählter Systemtechnologien von ausgewählten Partnern erarbeitet werden. Die Entwicklung grundsätzlicher Methoden und die Realisierung der technischen Grundfunktionalität der zu entwickelnden Systeme werden im Innovationsbasisprojekt IP erarbeitet.
Die TU Ilmenau adressiert unter Einbringung ihrer Bildverarbeitungs- und KI-Kernkompetenzen sowie der Erkenntnisse bei Entwicklung, Umsetzung und Anwendung von Methoden und Algorithmen zur Sensor-/Systemcharakterisierung der letzten Jahrzehnte hier insbesondere komplexe softwareseitige und algorithmische Aufgabenstellungen im Verbund sowie die Erforschung und Entwicklung grundlegender Methoden zur multimodalen Datenanalyse, wie neuartige Methoden für:
- multispektrale und multisensorielle Kalibrier- und Korrekturverfahren,
- multimodale echtzeitfähige Datenverarbeitung, -und -fusion sowie
- eine multimodal angepasste und optimierte KI-Algorithmik.
Ergänzend dazu entwickelt die TU Ilmenau grundlegende Methoden zur Sensorcharakterisierung von im Vorhaben durch andere beteiligte Partner entwickelten Sensoren.
Im Rahmen des TUI-Teilvorhabens „MoDa“ ist die TUI an der Realisierung verschiedener, nachfolgend genannter und in der Verbundvorhabenbeschreibung aufgeführter Softwaretechnologie-Module zur Datenverarbeitung und Datenanalyse maßgeblich beteiligt: M12 – FPGA: FPGA-basierte Datenvorverarbeitung für mehrere Detektoren, M14 – Kalibrierbaukasten: Methodenbaukasten zur Kalibrierung und Datenfusion multimodaler Sensoren und M15 – Datenanalyse / KI: optimierte KI-Algorithmik für die Anwendung auf hochdimensionalen multimodalen und multispektralen Daten.
Die zu entwickelnden grundlegenden algorithmischen und softwaretechnologischen Lösungen sind für alle im RUBIN-AMI-Verbund geplanten Systeme und Demonstratoren von hoher Relevanz, gehören zum elementaren Bestandteil des Verbundes und haben daher nachhaltigen Einfluss auf die Realisierung eines erfolgreichen Projektabschlusses.
Bewilligungszeitraum: 01.04.2022 bis 31.03.2025
Gefördert durch Bundesministerium für Bildung und Forschung (BMBF), Förderkennzeichen 03RU1U151C
Projekträger Jülich, Forschungszentrum Jülich
Das Projekt „MoWert“ zielt auf die Entwicklung zweier Systeme zur multispektralen multimodalen Datenanalyse von Wertstoffen ab. Dabei soll ein System zur Datenanalyse und Sortierung von Kunstsoffgebinden und ein System zur Sortierung von Bauschutt entwickelt werden. Diese ermöglichen eine ressourceneffiziente Nutzung von Wertstoffen. Sowohl die Wertstoff-Rücknahme, als auch die automatische Güteüberwachung werden in dem Projekt berücksichtigt.
Durch die Kombination verschiedener Kamerasysteme, welche zusammen vom VIS bis in den MWIR Bereich reichen, und 3D-Kameras soll eine Synergie in der Informationserfassung erreicht werden, mit deren Hilfe komplexe, vielseitige Erkennungsaufgaben mit hoher Erkennungsrate gelöst werden können. Für diese Erkennungs- und Analyseaufgaben sind ausführliche Voruntersuchungen notwendig um eine applikationsspezifische Anpassung und Optimierung von Datenanalysealgorithmen durchzuführen. Dazu zählen angepasste neuartige Methoden für die multispektrale und multisonsorielle Kalibrierung für die multimodale Echtzeitdatenverarbeiung und Mekrmalsanalyse zur Auswahl informationsreicher Merkmale im Beriech der Textur-, Form- und Spektralmekrmale. Zur optimalen Informationsnutzung wird die Notwendigkeit von multimodaler Datenverbesserung und Datenfusion ebenfalls untersucht und in die Systeme integriert.
Zur ausführlichen Analyse gehören neben der Kalibrierung und Merkmalsauswertung auch der Aufbau einer Sammlung multispektraler Materialcharakteristiken für Bauschuttrezyklate und Kunststoffmaterialien. Zur Erkennung sollen moderne KI-Algorithmen für die Analyse und Klassifikation von mehrdimensionalen, multispektralen, mutlimodalen Daten entwickelt werden.
Projektpartner: Fraunhofer IOF, AIM Micro Systems GmbH, Steinbeis Qualitätssicherung und Bildverarbeitung GmbH, Vision & Control GmbH, Zentrum für Bild- und Signalverarbeitung (ZBS) e.V., 3plusplus GmbH, LUCAS instruments GmbH
Fördermittelgeber: Bundesministerium für Bildung und Forschung
Förderkennzeichen: 03RU1U152C
Projektlaufzeit: 01.09.2022 - 31.08.2025
Produktionsmethoden und Fertigungsketten unterliegen gegenwärtig einem weitreichenden Wandel und erfordern die Entwicklung von wirtschaftlich tragbaren Technologien höchster Ressourceneffizienz, von Technologien und Geschäftsmodellen zur Digitalisierung sowie einer gesteigerten Flexibilität zur Kompensation labiler Lieferketten. Diese Maßnahmen müssen in den Kontext einer zukunftsfähigen Kreislaufwirtschaft eingebettet werden und erfordern die Entwicklung von innovativen und wirtschaftlichen Lösungen in Kooperationen von Unternehmen und Forschungseinrichtungen innerhalb des ThZM.
Die Digitalisierung nimmt dabei eine Schlüsselrolle ein, d. h. Messtechnik, Sensorik und Datenerfassung bilden die Grundlage, um einer zunehmenden Digitalisierung im Maschinenbau und den damit verbundenen Fertigungsprozessen, Bauteilen und ihrer Qualitätssicherung begegnen zu können. Zur Optimierung und Vernetzung von Fertigungsanlagen und Prozessregelung über mehrere Ebenen hinweg werden an der TU Ilmenau Untersuchungen mit modernen mobilen IoT Systemen und modernen faseroptischen Sensorsystemen durchgeführt. In diesem Zusammenhang wurden durch das geförderte Projekt die mobile IOT Plattform SPOT sowie ein faseroptisches Sensorsystem beschafft um die genannten Zielstellungen zu erreichen.
Bewilligungszeitraum: 01.06.2022 bis 30.09.2023
Gefördert durch die Thüringer Aufbaubank, Förderkennzeichen 2022 IZN 0001
Holz-21-REGIO
Das Ziel des Startervorhaben Basistechnologieevaluation ist die gezielte Informationsgewinnung für weitere Forschungsvorhaben bezüglich technologischer Innovationen für das Bündnis Holz-21-regio. Hierfür werden neueste Technologien und Systeme die aktuell am Markt verfügbar sind unter dem Gesichtspunkt der Nutzung im forsttechnischen und holztechnischen Umfeld evaluiert.
Besonderes Augenmerk liegt hierbei auf den Innovationsbereich klimaresilienter Waldumbau und Automatisierung in der Forstwirtschaft. Mittels multimodaler Sensorik in Kombination mit multispektraler Bildgebung soll hier ein umfassendes Gesundheits- und Wachstumsprofil für verschiedenste Phänotypen des Thüringer Waldes erzeugt werden. Anhand dieser Daten können geeignete Warngrenzen für Trockenstress, Schädlingsbefall und anderer Krankheiten definiert werden. Durch den Einsatz von Schreitrobotik, welche hohe Flexibilität in der Navigation von Mittelgebirgsflächen geprägt von teilweise sehr steilen Hängen und komplexer Untergrundbeschaffenheit verspricht, soll im Rahmen dieses Projektes die Datenerhebung automatisiert werden. Zugleich werden Möglichkeiten zur Automatisierung von Pflanz- und Pflegeaktionen untersucht an der Roboterplattform untersucht werden.
Die gesammelten Informationen hinsichtlich der Basistechnologieevaluationen werden im Rahmen eines Technologieberichtes am Ende für die Vorbereitung neuer Forschungsansätze auf diesem Gebiet sowie zur Weiterentwicklung vielversprechender vorhandener Systeme genutzt.
Bewilligungszeitraum: 01.10.2022 bis 31.01.2024
Gefördert durch Bundesministerium für Bildung und Forschung (BMBF), Förderkennzeichen 03WIR3603
Projekträger Jülich, Forschungszentrum Jülich
QBV
Das Teilprojekt: Multispektrale Zustandserfassung und Datenkorrelation pflanzenphysiologischer Vitalparameter ist Bestandteil des Verbundprojektes Überwachung biotischer und abiotischer Faktoren beim Waldumbau
Im Rahmen des Teilvorhaben MultiDat sollen bodennahen Sensordaten zur Detektion der Standortfaktoren im Forst wie Bodenfeuchtigkeit, Niederschlag und Sonneneinstrahlung durch optische Erfassungsmethoden in einem gemeinsamen Datenmodell zusammengefasst werden. Dies umfasst neben der Charakterisierung des Wachstumsverhaltens durch 3D Sensoriken und visuelle Dokumentation von Schädlings- und Pilzbefall, die Erfassungen pflanzenphysiologischer Vitalparameter mittels multispektraler Bildgebung.
Durch die Vereinigung der multimodalen Messdaten soll hierbei der aktuelle Gesundheitsstatus einzelner Pflanzen in ihrer kritischen Jungphase erfasst werden und Prognosen zum weiteren Wachstumsverhalten abgeleitet werden. Anhand dieser Prognosen sollen dann im Idealfall Maßnahmen zum Erhalt der Gesundheit abgeschätzt und zeitnah eingeleitet werden.
Das hier zu entwickelnde Multispektralsystem muss dabei mit den rauen und abgelegenen Bedingungen des Thüringer Waldes kompatibel sein.
Diese neue Art der Erfassung soll es forstlichen Einrichtungen erlauben
den notwendigen Waldumbau als Reaktion auf den Klimawandel im Thüringer Wald zu überwachen und Schlüsse über neue geeignete Baumarten zu ziehen
Das Projekt ordnet sich in das Verbundvorhaben im Bündnis Holz-21-Regio im
Innovationsbereich klimaresilienter Waldumbau ein.
Projektpartner: Fraunhofer IOF, Orbit GmbH, IMMS Ilmenau, LUCAS GmbH, Forstliches Forschungs- und Kompetenzzentrum Gotha
Bewilligungszeitraum: 01.05.2023 bis 01.10.025
Gefördert durch das Bundesministerium für Bildung und Forschung (BMBF)
Förderkennzeichen 03WIR3607D
Projekträger Jülich, Forschungszentrum Jülich
Objekterkennung / Maschinelles Lernen
Verbundprojekt: „Automatisierte Echtzeit-Hyperspektral-Bildgebung und -analyse für die Erkennung betonschädlicher Bestandteile in Gesteinskörnungen“
Teilvorhaben: „Entwicklung einer intelligenten hybriden Erkennungsroutine für ein Hyperspektral-Analysesystem unter Verwendung tiefer neuronaler Netze“
Im Verbundvorhaben HyPetro soll eine sensorgestützte hyperspektrale Erkennung betonschädlicher Bestandteile in Gesteinskörnungen für die Primärrohstoffindustrie durch eine Optiksystementwicklung für die Hyperspektralanalyse sowie eine innovative Algorithmenentwicklung im Bereich des Machine und Deep-Learnings realisiert werden.
Den Hintergrund des Vorhabens bildet die Notwendigkeit der Analyse der Eignung von Gesteinskörnungen für die Betonherstellung hinsichtlich kritischer Bestandteile, welche den Beton auf Dauer schädigen können. Daher werden schnelle Verfahren zur Beurteilung von Gesteinskörnungen benötigt, um eine effiziente Nutzung vorhandener Kieslagerstätten und Steinbrüche zu ermöglichen und damit letztlich zügiger für Bauanfragen liefern zu können.
Eine automatisierte Erkennung soll die gängigen langwierigen Betondauerhaftigkeitstests an Betonprobekörpern zur Evaluierung des Schadenspotentials von Gesteinskörnungen sinnvoll ergänzen. Dadurch können die sehr langen Prüfdauern reduziert werden.
Der volkswirtschaftliche Nutzen dieses neuen Verfahrens liegt vor allem in der Reduzierung oder Vermeidung der entstehenden Bauschäden infolge des Einsatzes von betonschädigenden Gesteinskörnungen.
Das Gesamtziel des Teilvorhabens an der TU Ilmenau ist hierbei die Entwicklung einer intelligenten hybriden Erkennungsroutine für ein Hyperspektral-Analysesystem unter Verwendung tiefer neuronaler Netzwerkarchitekturen.
Partner: GFE Präzisionstechnik Schmalkalden GmbH, Universalbeton Heringen GmbH & Co. KG, Steinbeis Qualitätssicherung und Bildverarbeitung GmbH, Materialforschungs- und -prüfanstalt Weimar (MFPA), TU Ilmenau, FG Qualitätssicherung und Industrielle Bildverarbeitung
Bewilligungszeitraum: 01.09.2020 bis 31.08.2023
Dieses Forschungs- und Entwicklungsprojekt wird durch das Bundesministerium für Bildung und Forschung (BMBF) in der Fördermaßnahme „Computer-Aided Photonics – Ganzheitliche Systemlösungen aus photonischen Verfahren und digitaler Informationsverarbeitung“ (Förderkennzeichen: 13N15335) gefördert und vom Projektträger VDI Technologiezentrum GmbH betreut. Die Verantwortung für den Inhalt dieser Veröffentlichung liegt beim Autor.
ProKl-llmenau ist einer von acht Standorten des bundesweiten Clusters Demonstrations- und Transfernetzwerk KI in der Produktion. Ziel des Projektes ist der Transfer von Methoden und Technologien künstlicher Intelligenz in die Breite des Mittelstands. Dabei soll KMU's ein praxistaugliches Verständnis für KI in der Produktion vermittelt werden. Der Standort Ilmenau bearbeitet zusammen mit dem Standort Nürnberg das Schwerpunktthema Fügen. Innerhalb des ProKI-Zentrums Ilmenau hat unser Fachgebiet seinen Schwerpunkt auf der bildbasierten Arbeitsraumüberwachung und dem Querschnittsthema Datenaugmentierung. Neben der Erstellung von Demonstratoren und Testumgebungen erfolgen Transferleistungen in Form von Beratungen, Publikationen, Vorträgen, und Veranstaltungen. Auf Anfragen von interessierten Unternehmen wird in Form von individuellen Beratungen und der Begleitung von KI-Projekten eingegangen. Treten Sie dazu gerne mit uns in Kontakt! Weiterführende Informationen finden Sie auf der ProKI-Ilmenau Projekthomepage.
Bewilligungszeitraum: 01.10.2022 bis 31.12.2024
Das Forschungs- und Entwicklungsprojekt ProKI-Ilmenau wird durch das Bundesministerium für Bildung und Forschung (BMBF) im Programm Zukunft der Wertschöpfung – Forschung zu Produktion, Dienstleistung und Arbeit (Förderkennzeichen 02P22A040) gefördert und vom Projektträger Karlsruhe (PTKA) betreut.
Ziel des Vorhabens ist die Entwicklung von KI-Werkzeugen, die zur chemisch-mineralogischen Klassifikation von Baumaterialen angewendet werden können, welches ein essenzieller Schritt in der Qualitätskontrolle und -sicherung von Baustoffen, in der Sortierung oder beim Recycling ist. Dabei sollen die Vorteile der LIPS-Technologie (Laserinduzierte Plasmaspektroskopie), welche zwar einen chemischen Fingerabdruck der Proben ermöglicht, jedoch nicht echtzeitfähig und mit sehr hohen Arbeitsschutzauflagen verbunden ist, mit der echtzeitfähigen, jedoch chemisch unsensibleren Hyperspektraltechnologie verbunden und durch den Einsatz von Algorithmen des maschinellen Lernens, unter anderem auch neuronaler Netze und der statistischen Datenauswertung miteinander fusioniert werden. Da besonders in realen Anwendungsfällen die Datenerhebung aufwändig ist und Daten sehr unterschiedlicher Natur sind, ist die Entwicklung weiterer ergänzender Konzepte zur Datenaugmentierung notwendig. Die neu entwickelten Verfahren können zukünftig auch für Untersuchungen an anderen Bauteilen, Baustoffen, Oberflächen und Strukturen aus heterogenen Materialien genutzt und weiterentwickelt werden. Somit ist die geplante Fusion der Sensorik in Verbindung mit KI universell und lässt sich schnell an andere Aufgabenstellungen anpassen.
Fördermittelgeber: Thüringer Aufbaubank (TAB)
Gefördert durch den Freistaat Thüringen aus Mitteln des Europäischen Sozialfonds Plus.
Projektpartner: Institut für Angewandte Bauforschung Weimar gGmbH (IAB), Materialforschungs- und -prüfanstalt an der Bauhaus-Universität Weimar (MFPA)
Förderkennzeichen: 2023 FGR 0088
Laufzeit: 01.01.2024 – 31.12.2026