http://www.tu-ilmenau.de

Logo TU Ilmenau


INHALTE

2D-/3D-Bildverarbeitung

Thematische Schwerpunkte

  • Multispektrale 3D-Bildaufnahmesysteme (VIS, NIR)
  • Embedded Bildaufnahmesysteme mit Bildvorverarbeitung (FPGA Plattform für Bildverarbeitung)
  • Sonderkamerasysteme für 2D-/3D-Bildverarbeitungsaufgaben (Sensorköpfe)
  • optische 3D-Sensoren (Stereo- und Musterprojektionsverfahren)
  • Methoden und Systemtechniken für die hochdynamische 2D- und 3D-Koordinatenmessung
  • Robotergeführte Maschinen- und Prozessintegrierte 2D-/3D-Bildverarbeitungssysteme
  • Bildverarbeitungsschnittstellen für die Echtzeit-Peripheriekommunikation
  • Untersuchung und Entwicklung von Präzisionsmessverfahren für taktile und berührungslose Dreikoordinatenmessung  / mehrdimensionalen Kantendetektion
  • Evaluation von Bildsensoren/Kamerasysteme unter Gesichtspunkten der EMVA1288
  • Spezialbeleuchtungssysteme und Spezialelektroniken für Mehrkanalbilderfassung (2D-/3D- und multispektral)
  • Multimodale 2D-/3D-Bilddatenerfassung und Bilddatenverarbeitung 

Laufende Projekte

QUALIMESS II: Intelligente Digitale Mehrkanalbildverarbeitung und Mehrkanalbilderfassung ID2M - QUALIMESS Next Generation

Mit der Ausnutzung von neuartigen Rechnerarchitekturen die parallele und sequentielle Abarbeitung ermöglichen, sollen neue Höchstleistungen in der Mehrkanalbildverarbeitung erreicht werden. Diese sollen mit Hilfe eines Konzeptes für

  • neuartige Smart Parallel Spectral Imager - SPSI
  • neuartige 3D Real Time Passive Imager - 3D RTPI und
  • neuartige Automated Sensor Evaluation Stands - ASES

erforscht und demonstriert werden. Durch innovative Prozessschnittstellen sollen diese Konzepte neue Anwendungsbereiche insbesondere in der Automation im Maschinen- und Anlagenbau erschließen. Darüber hinaus zielen die neuen Forschungsinhalte auf die Bereiche Automotive und Mobilität, Medizintechnik, Life Sciences, Sicherheitstechnik und industrielle Qualitätssicherung ab. Im Projekt Qualimess Next Generation sollen wissenschaftliche Grundlagen als auch anwendungswissenschaftliche Grundlagen auf den Gebieten:

  • Embedded Bildverarbeitung
  • Embedded Bildaufnahmesysteme
  • 3D- Bildverarbeitung
  • Spektralbildverarbeitung
  • Bildverarbeitungsschnittstellen für die Echtzeit-Peripheriekommunikation

Bild: Neue innovative Mehrkanalbildverarbeitungssysteme

Das lnnoProfile-Transfer Nachwuchsgruppen Projekt ist gefördert vom BMBF. Förderkennzeichen: 031PT709X

HASO 3D: Hard- Softwarearchitekturen für die schnelle 3D-Bilddatenvorverarbeitung und Datenübermittlung für Weißlichtinterferometer-WLI-Systeme

Das Forschungsprojekt ist Bestandteil des Verbundvorhabens „Echtzeitfähige 3D-Datenverarbeitung auf kaskadierten analog-digital cSoC Architekturen“, gefördert vom BMBF. Förderkennzeichen: 03ZZ0427G

Die Technische Universität arbeitet intensiv bilateral mit den Partnern IIS EAS Dresden, livingsolids GmbH und der Mahr GmbH zusammen. Hierbei wird angestrebt, die neue Sensortechnologie, die das IIS gemeinsam mit dem Partner X-Fab designt und umsetzt, in eine neue Generation von Weißlichtinterferometern zu integrieren. Die Schwerpunkte liegen dabei in der Ansteuerung des neuen Sensors, den Einzug von Bilddaten, der Vorverarbeitung der Bilddaten mit hybriden Schaltungsstrukturen sowie der Abstimmung und Integration des entstehenden Teildemonstrators in einen gemeinsamen WLI Gesamtdemonstrator.

DIADEM: 3D-Bildaufnahme und -verarbeitung mit höchstem kontinuierlichem Datendurchsatz für die Mensch-Maschine Interaktion und adaptive Fertigung

DIADEM ist eine Forschergruppe im Rahmen der Thüringer Aufbaubank Förderung der Forschungs- und Entwicklungsintensität in Thüringer Unternehmen und Forschungseinrichtungen. Das Projekt ist ein ESF-gefördertes Vorhaben. Projekt-Nr.: 2016 FGR 0044

Das Ziel der Forschergruppe ist die Erforschung grundlegender Algorithmen, Methoden und Technologiekonzepte und deren Verbindung zu einer geschlossenen, modularen Prozesskette mit kontinuierlicher, latenzarmer 3D-Bildaufnahme und -verarbeitung (≤ 20 ms) in heterogenen 3D-Sensornetzwerken. Der konzeptionelle Fokus liegt dabei auf Systemen mit vielen (n >> 3) 3D-Sensoren in einem rekonfigurierbaren Netzwerk, deren Messdaten gleichzeitig zu einem Gesamtdatensatz fusioniert werden müssen. Dies ist insbesondere Voraussetzung für Anwendungsszenarien mit großräumigen Bewegungsfeldern (Messvolumen), die kontinuierlich und zeitkritisch erfasst werden müssen. Hierbei fallen sehr große Datenmengen an, die auch in Zukunft nicht einfach durch schnellere Rechentechnik zu bewältigen sein werden. Der Anspruch der Forschergruppe ist es daher, grundlegende Methoden und Konzepte zu entwickeln, die zukunftsweisend und auch auf neue technologische Entwicklungen übertragbar sind.

SyncFast: Synchronisierte Systemarchitektur kosteneffizienter modularer Sensoren für natürliche Mensch-Maschine-Interaktion und kontinuierliche Prozesse

Mensch-Maschine-Interaktion muss sich an den Prämissen Ergonomie, Intuition, Irritationsfreiheit und (hohe) Reaktionsfähigkeit orientieren. 

Ziel des Verbundvorhabens „FASTER – Modulare Sensoren für natürliche Mensch-Maschine-Interaktion und kontinuierliche Prozesse“ ist es, die Latenzen im Sensorsystem extrem zu minimieren, um so eine kontinuierliche, aus Sicht des Menschen verzögerungsfreie Mensch-Maschine-Interaktion zu ermöglichen. Die hierbei verfolgte Idee ist die umfassende Integration aller Komponenten in einem modularen Sensorkonzept. 

Das Vorhaben soll der Allianz 3Dsensation eine konfigurierbare Sensorplattform zur Verfügung stellen, mit der Latenzen von 10 ms bis 20 ms erreichbar sind. Der innovative Lösungsansatz hierfür ist es, eine konfigurierbare Architektur auf Basis einer gemeinsamen, abstrakten Beschreibung unterschiedlicher 3D-Messverfahren zu schaffen. Diese Algorithmenschicht soll mit dedizierten Hardware-Assists so unterstützt werden, dass die Verarbeitungszeiten um Größenordnungen sinken. So wird ein hoher Datendurchsatz bei geringer Latenz für die Messzeit gewährleistet. Durch hardwaregestützte Vorverarbeitungsmodule soll eine intelligente, universell einsetzbare Datenreduktion erreicht werden.

Bild: Unterschiedliche Ansätze zur Sensorkonfiguration

Das Verbundvorhaben im Rahmen "Zwanzig20 - Allianz 3Dsensation“ wird gefördert vom BMBF. Förderkennzeichen: 03ZZ0442E

LeSp: Lichtfeldkamera-basierte eingebettete Sensorplattform

Die Antragsteller wollen im geplanten Projekt durch die Entwicklung einer universell nutzbaren Lichtfeldkamera-basierten Sensorplattform (Hard- und Software) Echtzeitfähigkeit für die 3D-Objekterkennung und -vermessung auf einem eingebetteten System erreichen. Die geplante Sensorplattform soll anhand zweier konkreter Anwendungen entwickelt werden: ein AAL-System zur Unterstützung von pflegebedürftigen Menschen und deren Schutz durch Erkennung von Notfallsituationen sowie ein mobiles System zur Straßenzustandserfassung.

Forschungsschwerpunkte:

  • Nutzung von Lichtfeldkameratechnik zur Generierung von 3D-Informationen für Objekt-, Gesten- und Personenerkennung sowie Objektvermessung
  • Realisierung der Lichtfeld-Plattform als eingebettete Single-Device-Lösung durch Kombination von FPGA (Field Programmable Gate Array) und DSP (Digital Signal Processor)
  • Umsetzung von Lichtfeldanwendungen mit Echtzeitanforderungen durch Lichtfeld - Processing auf dem FPGA
  • Entwicklung einer universellen Plattform für die schnelle und unkomplizierte Realisierung von anwendungsspezifischen Lichtfeldapplikationen
  • Zukunftssicherheit durch IoT-Kompatibilität: die generierten anwendungsspezifischen Objektinformationen und -merkmale werden durch Metadaten angereichert und mittels geeigneter IoT-Schnittstellen für IoT-fähige Systemumgebungen bereitgestellt.

Das „KMU-innovativ“-Verbundprojekt wird gefördert vom BMBF. Förderkennzeichen: 01IS16005B

DaQuS: Multimodale Datenerfassung und Analyse für die Online Qualitätssicherung von Schweißprozessen

Das Forschungsvorhaben ist ein Teilprojekt aus dem Pilot-Strukturwandel-Verbundvorhaben “3dSTAHL – 3D-Multisensorik und Handhabungssysteme für die Automatisierung im Stahlbau“. Das Ziel des Verbundes ist die gemeinsame Entwicklung neuer innovativer Produkte und Systeme zur Automatisierung von Schweißprozessen im schweren Stahlbau, auf Basis von 3D- und multispektralen Bildverarbeitungstechnologien in Verbindung mit Handhabungstechnologien.

Die Aufgabenbereiche der TU Ilmenau ordnen sich im Bereich der multimodalen Bilddatenerfassung und Datenverarbeitung ein. Ziel ist es aus verschiedenen Informationen die aus dem Schweißprozess selbst stammen (wie beispielsweise Stromstärken und Schweißgeschwindigkeit), aus den 3D-Daten der Schweißbahnerfassung und aus der Überwachung der Temperaturgradienten qualitätsbestimmende Informationen für den Schweißprozess zu gewinnen. Wichtigste Anforderung ist hierbei die Echtzeitfähigkeit aller Teilprozesse zu gewährleisten.

Die Besonderheit bei dem Ansatz der TU Ilmenau besteht in der Untersuchung der Oberflächeneigenschaften vor, während und nach (pre, in und post) dem Schweißvorgang hinsichtlich chromatischer (VIS) und spektraler (NIR+FIR) Eigenschaften bis hin zu 14 μm Wellenlänge. Ziel der Betrachtung im Wellenlängenbereich der Wärmestrahlung ist die Analyse der Schweißprozesses.

Bild: Prozessstruktur

Das Projekt wird gefördert vom BMBF. Förderkennzeichen: 03PSIPT3A

SensDCB: Sensorsystementwicklung zur Qualitätskontrolle von DCB-Strukturen

Das Forschungsprojekt ist Bestandteil des Kooperationsprojektes „Automatisierte 3D-Vermessungstechnologie für Prüfung von DCB-Strukturen“. Es wird im Rahmen des Programms "Zentrales Innovationsprogramm Mittelstand (ZIM)" vom BMWi gefördert. Förderkennzeichen: ZF4075116GR7

Die Qualitätskontrolle von Direct Copper Bonded (DCB) Substraten erfordert eine sehr hohe Messpräzision und wird bisher mithilfe von Konfokal-Mikroskopen durchgeführt. Dieses Verfahren ist sehr zeitintensiv und ausschließlich punktuell, so dass eine Beschränkung auf Stichproben unabdingbar ist. Bei ökonomischer Betrachtung haben bereits mit Chips ausgestattete Baugruppen einen 100-fachen Wert im Vergleich zu unbestückten DCB-Substraten. Damit wird eine 100-Prozent-Kontrolle der Kupferoberfläche unbestückter DCB-Substrate erzwungen. Im Rahmen des Projektes sollen flächenhaft antastende optische 3D-Messverfahren mit multispektraler Musterprojektion auf ihre Eignung untersucht und im Hinblick auf eine möglichst vollständige und echtzeitnahe Substratprüfung angepasst werden. So stellt die schwierige Oberfläche große Herausforderungen an die Projektion von Musterstrukturen, als auch die Notwendigkeit deutlich erhöhter Empfindlichkeit auf Sensorebene. Die zu detektierenden Substratfehler in Form kleiner Unebenheiten (Voids) mit Höhen von max. 20 µm sollen mit einer kontinuierlichen Messgeschwindigkeit von 25 bis 100 cm²/s bei einer Lateralauflösung zwischen 10 und 20 µm erfasst werden.

Bild: Defekterkennung auf DCB-Substraten

spec3D_II: Beitrag zur hyperspektralen 3D-Oberflächenerfassung und -verarbeitung für die industrielle Bildverarbeitung II

Das Forschungsprojekt hat das Ziel, Lösungsansätze zur Integration des Spektralanalysegerätes in das 3D‐Erfassungsystem zu entwickeln und den Anforderungen an die einzelnen Messsysteme gerecht zu werden. Der Kern ist die Koregistrierung der Punktwolke und der Spektralinformationen. Darin spielt die Kokalibrierung von dem 3D-Erfassungsgerät und dem Spektralanalysegerät die wichtigste Rolle, welche die relative Positionierung zwischen beiden Messgeräten ermittelt und damit die Grundlage für die Koregistrierung bildet.

Die Aufgaben bestehen aus zwei Phasen:

  1. Weiterentwicklung des hyperspektralen 3D-Bildaufnahmesystems aus dem Projekt spec3D hinsichtlich dessen spektralen Eigenschaften und Erfassungsgeschwindigkeit.
  2. Modifikation des Systems zwecks 3D-Bildaufnahme mit zwölf Spektralkanälen für die Untersuchung der Einflüsse der Lichtwellenlänge auf die 3D-Messgenauigkeit.

Das Forschungsthema ist Bestandteil der Forschungsallianz 3Dsensation. Die Ergebnisse des geplanten Forschungsprojektes sollen schnell in die geschaffene regionale Technologieplattform 2 Bildverarbeitung einfließen und sollen neue Applikationsmöglichkeiten in der Fertigungs‐ und Produktionstechnik, in Produkt‐ oder Modedesign, und in der Biomedizintechnik eröffnen.

Bild: Gewinnung multimodaler Merkmale

Das Vorhaben wird gefördert vom BMBF. Förderkennzeichen: 03ZZ0462

Kupe: Entwicklung eines Kamerasystems zur multimodalen Personenerfassung in Echtzeit

Das Vorhaben ist ein Teilprojekt im Verbundvorhaben „Automatische kontaktlose Stresserfassung in Echtzeit“ im Graduiertenforschungskolleg der Allianz 3Dsensation. 

Das Ziel ist die Entwicklung einer Array-basiertes Kamerasystem zur simultanen Erfassung und Kombination von 3D- und multispektralen Bilddaten von Personen in Echtzeit. Das Kamerasystem soll neben den konventionellen RGB-Farben (Rot, Blau und Grün) noch über Bänder im weiteren unsichtbaren NIR-Spektralbereich verfügen, welche in Kombination mit einer irritationsfreien aktiven Beleuchtung zur Stabilisierung der Herzrateschätzung beitragen sollen. Die multispektralen Bilddaten soll mit den 3D-Bilddaten für eine verbesserte Szeneninterpretation kombiniert werden, dazu soll ein Ansatz für die Bilddatenregistrierung in Echtzeit erarbeitet werden.

Das Vorhaben ist gefördert vom BMBF. Förderkennzeichen: 03ZZ0471C

NAAG-FER*Tig*er: Bildverarbeitungsalgorithmen für hochgenaue Lageerfassung und Online-Positionskorrektur

Das Teilprojekt zum Verbundthema „Mobiler Verlegeroboter mit externer Materialzuführung für Industriebodenbeläge“ gliedert sich im Bereich der Bildverarbeitung ein. Ziel des Forschungsverbundes ist die Entwicklung eines hochintegrierten Robotersystems für eine Automatisierungslösung zur Verbesserung der Qualität bei der Fliesenverlegung.

In Abstimmung mit den Partnern sollen Algorithmen für die automatische Feinerkennung der Industriellen Boden Einheit (IBE) auf industriellen Fördersystemen entwickelt werden.  Ferner soll auf Basis der ermittelten Bilddaten und der Verwendung sekundärer Positionssensorik durch multimodale Datenanalyse eine Bestablageposition ermittelt und der Steuerung zur Verfügung gestellt werden.

Das ZIM Kooperationsprojekt aus dem Kooperationsnetzwerk NAAG Automatisierung Ausbaugewerke wird vom BMWi gefördert. Förderkennzeichen: 16KN068424

MultiSys: Multiarray-Bildverarbeitungssystem für die Inline-Qualitätssicherung industrieller Baugruppen

Das FuE-Verbundvorhaben "Multiarray-Bildverarbeitungssystem für die Inline-Qualitätssicherung industrieller Baugruppen (MultiSys)" stellt sich komplexen Fragestellungen der industriellen Produktion, die durch den Einsatz vernetzter Bildverarbeitungssysteme in Arraystrukturen auf Boardlevel gelöst werden sollen. Die zu entwickelnde hochintegrierte Bildverarbeitungskette, die mindestens 16 Einzelbildsensoren gleichzeitig einziehen kann, soll einen erheblichen Zeitgewinn bei Inspektionsaufgaben in der industriellen Produktion erzielen. Gleichzeitig steigt die Abtastqualität und aufwendige Justage und Kalibrierverfahren die derzeitig bei abrasternden Achssystemen notwendig sind entfallen ebenso wie die damit verbundene Wartung. Angestrebt werden 200 Megapixel/s zu erfassen und in einer Zykluszeit von unter 5s komplett zu verarbeiten. Durch modellbasierte Bildfeldentzerrung und Sensorkorrekturen soll die Inspektion einer Fläche von bis zu 450 x 450 mm² bei einer Auflösung von bis zu 30 µm für industrielle Inspektionsaufgaben ermöglicht werden.

Das Verbundvorhaben wird von der Thüringer Aufbaubank gefördert: Vorhabensnummer: 2017  VF 0023; Verbundvorhabensnummer: 2017 FE 9058

Minimize: Miniaturisiertes, ortsaufgelöstes, multispektrales, echtzeitfähiges Bildverarbeitungssystem für industrielle und biomedizinische Anwendungen

Das Verbundprojekt "Miniaturisiertes, ortsaufgelöstes, multispektrales, echtzeitfähiges Bildverarbeitungssystem für industrielle und biomedizinische Anwendungen (Minimize)" verfolgt die Zielstellung, ein miniaturisiertes Sensorsystems für die digitale ortsaufgelöste Erfassung von multispektralen Bildinformationen mit unterschiedlichen spektralselektiven Kanälen und einer schnellen Bildszenenaufnahmerate zu entwickeln und zu realisieren. Durch den holistischen Systementwurf mit der Berücksichtigung und Kombination von Beleuchtung, Optik, multispektralem Sensormodul und Elektronik sowie von Modellbildung und Algorithmen werden vollständig neue Anwendungen durch Miniaturisierung bei erhöhter Funktionalität in Maschinen- und Anlagenbau, Fahrzeugbau, Medizintechnik, Lebensmitteltechnik und modernen Dienstleistungen, wie beispielsweise die Point-of-Care Messtechnik im biologischen und medizinischen Feldbetrieb, möglich. Die ortsaufgelöste multispektrale Bildszenenaufnahme, -verarbeitung und -auswertung ist die logische, methodische und technische Weiterentwicklung der „technischen Augen“. So wie heutzutage in nahezu jeder Kamera drei spektralselektive Filter für die ortsaufgelöste Farbbildaufnahme eingesetzt werden, so werden in absehbarer Zeit in jeder Kamera mehrere spektralselektive Filter für die ortsaufgelöste Farb- und Spektralbildverarbeitung eingesetzt werden.

Das Verbundprojekt wird vom Bundesministerium für Bildung und Forschung (BMBF) gefördert: FKZ 13N14835

PIN 3D: Verfahren für die robuste Erfassung von 3D-Qualitätsmerkmalen an optisch unkooperativen Oberflächen

Die robuste und integrierte Erfassung der Produktqualität von durchkontaktierten Verbindungen von Elektronik (THT Trough-Hole Technology) insbesondere beim Einsatz in Hochstromleiterkarten (Elektromobilität, Automotive, Solarindustrie) ist aktuell sehr schwierig und instabil. Eine absolute Absicherung kann nur durch die Durchstrahlung dieser Baugruppen oder aufwendige optische Systeme sichergestellt werden. Eine schnelle Inline-Inspektion ist daher ein wichtiger Bestandteil bei der Qualitätssicherung dieser Produkte. Gemeinsam mit dem Projektpartner Göpel-Elektronik soll hierfür ein optisches Inspektionssystem entwickelt werden, das eine schnelle automatisch-optische Inspektion unter Einhaltung der Maschinenfähigkeit I und III mit bis zu 60 cm²/s sicherstellt. Mit Hilfe spezieller Beleuchtungen und deren automatische Optimierung soll eine robuste Erfassung der 3D-Konturen der Durchkontaktierungen erreicht werden.

Das Projekt PIN 3D wird unter dem Förderkennzeichen ZF4075129PR8 durch die AIF Projekt GmbH begleitet. Die Förderung erfolgt im Rahmen des Programms „Zentrales Innovationsprogramm Mittelstand (ZIM)“.

InQMu3D: Inline-Qualitätssicherung automatisiert geschweißter Kehlnähte mit Hilfe von Multispektral- und 3D-Datenanalyse

Das Forschungsprojekt ist Bestandteil des Kooperationsprojektes „Vollautomatisiertes, multimodales Inspektionssystem für Schweißnahtunregelmäßigkeiten an Kehlnähten mittels Thermografie“. Es wird im Rahmen des Programms "Zentrales Innovationsprogramm Mittelstand (ZIM)" vom BMWi gefördert. Förderkennzeichen: ZF4075138FH9

Der stetige Anstieg des Automatisierungsgrades von Fertigungsprozessen im schweren Stahlbau bedingt die zeitgleiche automatisierte Überwachung dieser Prozesse. Die Inspektion und Bewertung von automatisiert geschweißten Kehlnähten stellt dabei eine besondere Herausforderung dar. Diese Nahtform ist die am häufigsten vertretene Verbindungsform bei Stahlkonstruktionen und dennoch nur unzureichend mit den standardisierten Prüfverfahren auf entstandene Schweißnahtunregelmäßigkeiten prüfbar.
Um diesem Missstand entgegenzuwirken, die Güte von Schweißkonstruktionen zu erfassen sowie die spezifizierten Bauteilanforderungen zerstörungsfrei nachzuweisen, soll ein Fertigungssystem mit einem kontaktlos und optisch arbeitenden Inline-Inspektionssystem entwickelt werden. Dieses ist gekennzeichnet durch eine halbautomatisierte Schweißbrennerführung mit Schweißbadregelung, ein Inline-Erfassungssystem für die dreidimensionale Nahtgeometrie sowie die multispektrale und thermografische Detektion zur volumetrischen Beurteilung einer Kehlschweißnaht und deren Schweißnahtunregelmäßigkeiten basierend auf einer selbstlernenden Software.