Intelligente Segmentierung von Objektstrukturen in der industriellen Qualitätssicherung. - Ilmenau. - 104 Seiten
Technische Universität Ilmenau, Masterarbeit 2022
Die Technik der Computer-Vision hat sich in den letzten Jahren schnell weiterentwickelt und ist in vielen Aspekten zur erfolgreichen Anwendung gelangt, beispielsweise auf industriellem Gebiet. Zum besseren Verstehen eines Bildes trägt immer die auf Deep-Learning basierende intelligente Segmentierung als ein wichtiger Bestandteil der Computer-Vision bei. Deswegen ist es sinnvoll, die intelligente Segmentierung mit industriellen Anforderungen an die Qualitätssicherung zu verbinden, zum Beispiel bei der Oberflächendefekterkennung eines Produktes, um eine automatische Erkennung von Fehlerstrukturen zu ermöglichen. Das Ziel dieser Arbeit ist es, eine intelligente Segmentierung von Objektstrukturen bzw. Fehlerstrukturen für Bilddatensätze ausgewählter industrieller Produkte für die anschließende Anwendung der segmentierten Strukturen im Deep-Learning-Training und -Test einzusetzen. Danach werden die Ergebnisse von verschiedenen Untersuchungen miteinander verglichen und bewertet. Dazu wird die folgende Forschungsfrage gestellt: wie kann ein ideales Erkennungsergebnis erhalten werden? Um diese Frage zu beantworten, werden Untersuchungen mit verschiedenen Kombinationen von Trainingsparametern und Datensätzen von Wafern durchgeführt. Die Datensätze unterscheiden sich durch die Klassenanzahl bzw. durch den Unterschied der eingeschlossenen Klassen von Defekten „Schmetterlinge“, „Linien“ und „Mini-Defekte“ innerhalb des Wafers als auch durch den Labeling-Stil bzw. die rechteckige Maske oder die Kontur-Maske der Defekte. Bei den Trainingsparametern handelt es sich um die Parameter, die die Fähigkeit des erzeugten Deep-Learning-Modells beeinflussen können, z.B. Epochs-Zahl und Learning-Rate. Es wird eine Kombination gefunden, mit der das beste Modell trainiert wird, damit die meisten Defekte innerhalb eines neuen Wafers richtig erkannt und klassifiziert werden können. Die Ergebnisse zeigen, dass beruhend auf dem Datensatz mit allen drei Klassen von Defekten und mit rechteckiger Maske ein bestmögliches Deep-Learning-Modell trainiert werden kann. Ein solcher Datensatz kann beim Labeln eine ausführliche und deutliche Definition bzw. Ground-Truth für jede Art von Defekten bieten und infolgedessen eine genaue Erkennung von neuen Defekten ermöglichen. Weiterführende Untersuchungen zur Erkennung der Fehlerstrukturen sollten sich mit Defekten am Rand der Wafers beschäftigen.
Ein dynamischer Bewegungsplanungsalgorithmus für den Roboterarm (Universal-Robot-10) basierend auf ROS, GTSAM und miniSAM. - Ilmenau. - 50 Seiten
Technische Universität Ilmenau, Masterarbeit 2022
Roboter werden zunehmend in dynamischen oder zeitvariablen Umgebungen eingesetzt. Diese Szenarien sind geprägt von sich bewegenden Hindernissen, Zielpunkte ändern sich und somit ist die Berechnung kollisionsfreier Trajektorien für die Navigation oder Missionsplanung wichtig. Im Hinblick auf den Arbeitsplatz und die Arbeitsinhalte von Industrierobotern werden höhere Anforderungen an die Gleichmäßigkeit der Bewegung, Echtzeit und Hindernisvermeidung gestellt. In diesem Arbeit wird ein Rahmen mit dem GPMP2-Bewegungsplanungsalgorithmus als Kernstück konstruiert, um das Teilproblem der Zielpunktänderung im Replanungsproblem zu lösen. Zunächst wird in diesem Arbeit der Rahmen des Zyklus Modellierungsphase - Planungsphase - Ausführungsphase, die in jeder Phase implementierten Funktionen und die in ROS verfügbaren Funktionspakete beschrieben. In der Modellierungsphase werden hauptsächlich die Konstruktion der ESDF-Map und die Erfassung der Zielkonfiguration des Roboterarms implementiert; in der Planungsphase werden hauptsächlich die Replanung und die Neuplanung durchgeführt; in der Ausführungsphase werden hauptsächlich einige technische Probleme gelöst, die bei der Anwendung der Replanung auftreten. In den folgenden Kapiteln werden die spezifischen Funktionen der einzelnen Phasen, die Einzelheiten ihrer Umsetzung, die dahinter stehenden Überlegungen und die auftretenden Probleme ausführlich beschrieben. Schließlich werden Leistungstests zur Erzeugung der ESDF-Map, Tests zur Replanung und Stabilitätstests des gesamten Frameworks in der ROS-Simulationsumgebung durchgeführt.
Pfadplanung und Simulation eines robotergesteuerten Kalibrierprozesses für ein Multi-View-Stereosystem. - Ilmenau. - 106 Seiten
Technische Universität Ilmenau, Masterarbeit 2022
Multi-View-Stereo-Systeme werden in der Industrie u.a. zur Erfassung von Arbeitsumgebungen eingesetzt. Dazu ist jedoch eine präzise Erfassung der Objekt- Abmessungen erforderlich. Dies gelingt im Zuge einer Kalibrierung des Multi-View-Stereo-Systems, sodass eine präzise Tiefenrekonstruktion der erfassten Umgebung möglich ist. In dieser Arbeit wurde dazu mithilfe des Simulations-Frameworks ROS-Melodic und Gazebo 9.0 ein robotergesteuerter und damit autonomer Kalibrierprozess eines Multi-View-Stereo-Systems unter Einsatz von LUX13HS-Sensoren entwickelt. Der entwickelte Kalibrierprozess soll den Aufwand gegenüber einer manuellen Durchführung reduzieren und gleichzeitig sicherstellen, dass die Anforderungen an die Präzision erfüllt werden. Die Prozesskette umfasst eine landmarken-basierte Pfadplanung und gewährleistet, dass der Roboter die Kalibrierpositionen ansteuern kann. Außerdem wurde ein Pfadplanungsansatz entwickelt, der eine landmarken-unabhängige Pfadplanung in einem Arbeitsbereich ermöglicht. Beide Ansätze sollen gewährleisten, dass im Zuge eines autonomen Detektions- und Kalibrierprozesses eine präzise und robuste Kalibrierung der Einzelkameras und Stereopaare möglich ist. Als Grundlage für die Kalibrierung werden ein planares ChArUco-Board und ein dreidimensionaler ArUco-Würfel verwendet. Diese werden im Hinblick auf den gesamten roboter-gesteuerten Pfadplanungs- und Kalibrierprozess untersucht und einander gegenübergestellt. Die einzelnen Prozesse wurden schließlich in mehreren nicht-linearen und linearen Messanordnungen mit paralleler bzw. konvergenter Kameraausrichtung evaluiert. Damit wurde die Eignung der verwendeten Kalibriermethodik für eine anschließende Tiefenrekonstruktion eingeschätzt. Hierbei hat sich gezeigt, dass für das ChAruco-Board eine robuste Kalibrierung im Zuge der in dieser Arbeit entwickelten Prozesskette gelingt.
Bestimmung von Gelenkwinkeln eines geländegängigen autonomen Gabelstaplers auf Basis von 2D Kameradaten. - Ilmenau. - 112 Seiten
Technische Universität Ilmenau, Masterarbeit 2022
Im Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung (IOSB) Institutsteil angewandte Systemtechnik (AST) wird innerhalb des Projekts Autonomie-KITpro (AKITpro) ein geländefähiges, fahrerloses Transportfahrzeug (FTF) mit einer Knicklenkung entwickelt. Ziel der Arbeit ist es, Lösungen zum Bestimmen des Lenkwinkels des FTF auf Basis von 2D Kameradaten zu entwickeln. Dazu werden mehrere Konzepte erarbeitet, die unterschiedliche Merkmale des Fahrzeugs und verschiedene Verfahren der Bildverarbeitung einsetzen, um den Lenkwinkel zu bestimmen. Zu den eingesetzten Methoden zählen markerbasierte sowie makerlose Verfahren, die klassische Methoden der Bildverarbeitung verwenden, und ein Ansatz mit neuronalen Netzen. Die in den Konzepten aufgestellten Annahmen werden durch Implementierungen erprobt und optimiert. Anschließend werden die Lösungsansätze anhand von festgelegten Kriterien bewertet. Es wird gezeigt, dass alle vorgestellten Konzepte den Lenkwinkel des Fahrzeugs bestimmen können, aber nicht alle robust gegenüber Umwelteinflüssen und Kamerastörungen sind. Darüber hinaus verdeutlicht die Gegenüberstellung der Lösungsansätze, dass der Ansatz basierend auf Aruco-Markern am genausten und leistungsfähigsten ist, im Vergleich zu den Ansätzen mit CNN oder fahrzeugeigenen Merkmalen.
Datensatzanalyse ausgewählter Schüttgüter unter Verwendung von Hyperspektralsensorsystemen. - Ilmenau. - 90 Seiten
Technische Universität Ilmenau, Bachelorarbeit 2022
Mit der Entwicklung der bildgebenden Spektroskopie hat sich die Fähigkeit des Menschen, durch bildgebende Technologie erweiterte Informationen zu gewinnen, als Analysebasis, stark verbessert. Eine Vorverarbeitung der Daten ist aber zwingend notwendig, da die Schwierigkeit der Verarbeitung von Spektralbildern mit zunehmender räumlicher Auflösung exponentiell ansteigt. In dieser Arbeit wurden die Daten mit der Programmiersprache Python 3.8 und der Programmiersoftware Spyder verarbeitet. Für die Aufnahme von Datensätzen wurde eine Snapshot-NIR-Multispektralkamera verwendet. Zwei Vorverarbeitungslösungsansätze wurden erfolgreich mit NIR-Hyperspektraldatensätzen und Multispektraldatensätzen entwickelt. Dies bildet die Grundlage für spezifische Erkennungsaufgaben in der nachfolgenden Bildverarbeitung. Schließlich wird die Eignung der verwendeten Kamerasysteme anhand der Ergebnisse bewertet.
Untersuchung der Maschinenfähigkeitszahl anhand der Messsystemanalyse bei einem optischen Prüfsystem sowie Möglichkeiten der Verbesserung durch geeignete Messstrategien. - Ilmenau. - 77 Seiten
Technische Universität Ilmenau, Bachelorarbeit 2022
Im Zuge der Umstellung auf Industrie 4.0 wird die Produktion aus verschiedenen Branchen, von der Lebensmittel- bis zur Automobilindustrie, digitalisiert. Die digitale Vernetzung von Maschinen ermöglicht eine flexible Produktion und in diesem Sinne sind die Einsatzmöglichkeiten der Bildverarbeitung in der industriellen Anwendung vielseitig. Ein industrielles Bildverarbeitungssystem bietet eine höhere Robustheit, Zuverlässigkeit und Stabilität gegenüber der manuellen Prüfung, insbesondere, wenn eine 100%-Prüfung jedes Bauteils gefordert wird. Das Erreichen gewisser Fähigkeitskennwerte liefert eine Aussage über die Eignung des Prüfsystems für eine bestimmte Messaufgabe. Jedoch spielen verschiedene Faktoren, wie beispielsweise die verwendeten Kamerasensoren oder die eingesetzten Messalgorithmen eine Rolle und können sich negativ auf die Messergebnisse auswirken. Im Rahmen dieser Arbeit wird das optische Koordinatenmessgerät ACCURE 250 untersucht. Die verschiedenen Einflussfaktoren und deren Auswirkungen auf die Messergebnisse werden zunächst ermittelt. Im Rahmen der Versuche kommen verschiedene Methoden bzw. Messstrategien zur Kantendetektion zum Einsatz. Sie dienen der Minimierung der Messabweichung der Messgrößen Gewindesteigung sowie Außendurchmesser. Insgesamt werden 3 verschiedene Messstrategien (Variante 1 mit Kantenverfolgung an Gewindespitzen, Variante 2 mit Linienprojektion an Gewindeflanken, Variante 3 mit Kantenverfolgung am Gewindegrund) entwickelt. Aus den Untersuchungen resultiert, dass Variante 2 (Linienprojektion an Gewindeflanken) die genauesten Messergebnisse hinsichtlich der Messung der Steigung liefert. Bezüglich der Messung des Gewindedurchmessers ist hingegen Variante 1 am besten geeignet, weil die erfassten Punkte aus Variante 2 und 3 nicht dem Gewindedurchmesser entsprechen. Die erreichbaren Messgeschwindigkeiten von jeder Methode wurden ebenfalls ermittelt. Die Durchlaufzeit ist von der angewandten Messmethode und Kantenlänge abhängig. Im Ergebnis ist die Durchlaufzeit der Variante 1 für zehn Messungen nahezu identisch mit derjenigen aus Variante 2. Abschließend ist sicherzustellen, dass das optische Koordinatenmessgerät in der Lage ist, die geforderten Fähigkeitskennwerte zu erreichen. Auf diese Weise wird eine Messsystemanalyse nach Verfahren 1 und 3 durchgeführt. Für das MSA-Verfahren 1 ist das ACCURE 250 in Bezug auf die Messung der Steigung als fähig und auf die des Durchmessers als unfähig eingestuft. Dies liegt daran, dass die Mittelwerte zu weit vom Sollwert abweichen. Für das MSA-Verfahren 3 ist das Messgerät hingegen sowohl für die Messung der Steigung als auch des Durchmessers als fähig identifiziert, was darauf hindeutet, dass das Messgerät ACCURE 250 eine hohe Wiederholgenauigkeit besitzt.
Entwicklung eines Verfahrens zur Bewegungsplanung für den Roboterarm (Universal-Robots-10) basierend auf ROS und miniSAM. - Ilmenau. - 70 Seiten
Technische Universität Ilmenau, Masterarbeit 2022
Mit dem rasanten Fortschritt von Wissenschaft und Technik werden immer mehr Branchen zunehmend automatisiert und intelligent. Im Zuge von Industrie 4.0 spielen Industrieroboter eine zentrale Rolle, zum Beispiel in den Bereichen Mensch-Roboter-Interaktion, Logistik und Qualitätsprüfung. Im Hinblick auf den Arbeitsplatz und den Arbeitsinhalt von Industrierobotern werden höhere Anforderungen an die Glätte der Bewegung, die Echtzeit und die Hindernisvermeidung gestellt. In dieser Arbeit werden die vom GPMP2-Algorithmus erzeugten Trajektorien auf der Basis der ROS-Plattform und in der Gazebo-Simulationsumgebung untersucht, wobei der UR10-Roboterarm als Versuchsobjekt dient. Im Rahmen dieser Arbeit wird zunächst die Kernfunktion von ROS-Kommunikationsmechanismus für die Anwendung in den Simulationsexperimenten vorgestellt, wobei der verteilte Rahmen einen einfachen Zugriff auf die benötigten Sensordaten und die flexible Steuerung der entsprechenden Aktoren ermöglicht. Die Kommunikationsmechanismen des ROS sind in vier Typen unterteilt, nämlich Topic Kommunikation, Service Kommunikation, Action Server und Parameter Server. Diese vier Kommunikationsmodi erfüllen die Anforderungen an die Datenübertragung des Roboterarms. Des Weiteren werden der Koordinatenraum des Roboterarms und seine Transformationsmethoden beschrieben. Eine DH-Tabelle für den UR10-Roboterarm wird erstellt und die kinematischen Gleichungen für den UR10-Roboterarm werden vorgestellt und abgeleitet. Die Position und die Orientierung des Endpunkts des 6-achsigen Roboterarms im kartesischen Raum können durch eine Lösung von der Vorwärtskinematik für einen bekannten 6-Gelenk-Drehwinkel ermittelt werden. Bei den meisten Anwendungen, bei denen die räumliche Position und die Orientierung des Zielobjekts bekannt sind, ist es notwendig, die Gelenkdrehwinkel zu berechnen, in diesem Fall wird die Rückwärtskinematik verwendet. Schließlich wird der auf probabilistischer Inferenz basierende Trajektorienplanungsalgorithmus - GPMP2 im Detail vorgestellt. GPMP2 vermeidet hohe Rechenkosten und liefert gleichzeitig eine glatte, kollisionsfreie Trajektorie. Der GPMP2-Algorithmus verwendet einen Gauß-Prozess, um die zeitkontinuierliche Trajektorie des Roboters zu beschreiben und modelliert das Lösungsproblem als eine glatte Trajektorienschätzung ohne Kollisionswahrscheinlichkeit. Durch die Konstruktion einer spärlichen Kernelmatrix kann die Trajektorie schnell interpoliert werden, so dass die gesamte Trajektorie mit einer kleinen Anzahl von Stützzuständen beschrieben werden kann. Eine kleine Anzahl von spärlichen Zuständen kann die Lösung des Problems beschleunigen. Die vom GPMP2-Algorithmus erzeugten Trajektorien werden in verschiedenen Simulationsumgebungen in Gazebo ausgeführt, um den Zeitverbrauch, die Kollisionsfreiheit und die Glätte der Trajektorien in der Praxis zu überprüfen. Die Veränderung des Zeitverbrauchs der Trajektorien bei gleichzeitiger Kollisionsfreiheit und Glätte wird durch Variation der entsprechenden Parameter des Algorithmus getestet.
Methodik-Entwicklung zur prozessbegleitenden Auswertung von Hochgeschwindigkeitsvideos des Laserkontaktierprozesses elektrischer Antriebe. - Ilmenau. - 66 Seiten
Technische Universität Ilmenau, Masterarbeit 2022
Die vorliegende Arbeit beinhaltet die Entwicklung einer Methodik zur prozessbegleitenden und automatisierten Analyse von Hochgeschwindigkeitsvideos eines Schweißprozesses in der Automobilindustrie. Ein entscheidender Schritt in der Statorproduktion elektrischer Antriebe ist die Kontaktierung zweier Hairpins mittels Laserstrahlschweißen. Dieser Prozess ist geprägt von verschiedenen Fehlerquellen, welche die Kontaktierung beeinflussen und sich auf die Qualität des gesamten Stators auswirken. Da der elektrische Fluss gewährleistet werden muss, darf keine der Kontaktstellen fehlerhaft sein. Daher soll eine prozessbegleitende Überwachung und Auswertung des Schweißvorgangs über Hochgeschwindigkeitsvideos entwickelt werden. Zu diesem Zweck wird zunächst die Aufnahmeumgebung in der Schweißanlage in Bezug auf die Beleuchtungsparameter sowie eine geeignete Aufnahmefrequenz untersucht und optimiert, um für die nachfolgenden Untersuchungen eine bestmögliche Daten- und Informationsgrundlage zu schaffen. In den anschließend mit einer Frequenz von 10.000 fps aufgenommenen Videos werden verschiedene Abweichungen in Bezug auf einen optimalen Schweißprozess ermittelt und anhand ihrer unterschiedlichen Merkmale erste Ansätze zur Detektion erstellt. Die Methodik wird auf Grundlage von Bildverarbeitungsoperationen wie Differenzbildern und Segmentierung entwickelt. Zunächst erfolgt dabei eine Segmentierung der aufgenommenen Bilder in die zwei Bereiche Hairpins und Hintergrund. Die ermittelten Abweichungen treten vorwiegend nur in einem der beiden Bereiche auf, weshalb sich so der Suchbereich, der Einfluss anderer Fehler und die Auswertezeit begrenzen lässt. Die am häufigsten visuell detektierbaren Abweichungen in dem untersuchten Anwendungsfall sind Spritzer und Rauch, weshalb darauf der Fokus der Analyse gelegt wird. Ein Algorithmus zur Detektion der Spritzer und ihrer Unterscheidung von Rauch wird entwickelt und validiert. Es zeigt sich, dass Grauwertänderungen in Differenzbildern, welche das Auftreten eines Spritzers kennzeichnen, zur Detektion verwendet werden können. Die Größe eines Spritzers wird über die Fläche zusammenhängender Grauwertänderungen ermittelt. Durch Überlagerung von Bildsequenzen ist zusätzlich die Anzahl an Spritzern ohne Mehrfachzählung erfassbar. Aufgrund seines frühen Entwicklungsstadiums weist das Programm weiteres Optimierungspotenzial für den Einsatz in der realen Prozessumgebung auf.
Ähnlichkeitsmaße zur dichten Korrespondenzbestimmung in Multispektralbildern bei passivem Stereoverfahren. - Ilmenau. - 91 Seiten
Technische Universität Ilmenau, Masterarbeit 2021
Die Bestimmung korrespondierender Pixel oder Bildbereiche mittels quantifizierter Ähnlichkeiten ist elementarer Bestandteil jedes passiven Stereoverfahrens zur Berechnung dichter Disparitätskarten. Diese Arbeit beschäftigt sich mit der Frage, wie multispektrale Bilddaten kombiniert mit anwendungsspezifischen Abstands- und Ähnlichkeitsmaßen die Qualität der Korrespondenzsuche beeinflussen können. Ein Verfahren zur Erstellung synthetischer multispektraler Stereobilder mit Ground-Truth-Daten wird vorgestellt und repräsentative Szenen werden realisiert. Multispektrale Abstands- und Ähnlichkeitsmaße werden hinsichtlich der Kriterien Dynamikumfang, Berechnungsaufwand, Robustheit sowie Invarianz unter Verstärkung untersucht. Die vielversprechendsten Maße sind Census-Transformation, Earth Mover's Distance (Wasserstein-Metrik), spektrale Winkelähnlichkeit (Spectral Angle Similarity) und spektrale Korrelation. Diese, sowie die Manhattan-Distanz (Summe absoluter Differenzen) als Stellvertreter für die klassischen Maße, werden in zwei repräsentativen Stereoverfahren implementiert. Die Verfahren werden systematisch unter Optimierung der Blockgröße, Anzahl und Position spektraler Kanäle auf die synthetischen Stereobilder angewendet. Im Vergleich zu Grauwertbildern zeigen Multispektraldaten eine im Durchschnitt höhere Ergebnisqualität. Die klassische Manhattan-Distanz erzielt signifikant bessere Ergebnisse als die spezifischen Maße.
Analyse der Eigenschaften von leitrußbeladenen Holzpartikeln in Polypropylen für die Entwicklung eines ökologisch nachhaltigen und elektrostatisch dissipativen Composites. - Ilmenau. - 54 Seiten
Technische Universität Ilmenau, Bachelorarbeit 2021
Im Rahmen der Arbeit werden die elektrischen Eigenschaften von Composites aus einer mit leitrußbeladenen Holzpartikeln gefüllten Polypropylen-Matrix untersucht und mit Referenzproben verglichen. Der Füllstoff wird über das Beladen von Holzpartikeln mit Leitruß produziert, wobei ein trockenes, ein nasschemisches und ein Benetzungsverfahren mittels Klebstoff angewendet werden. Die Herstellung der Verbundkunststoffe erfolgt in einem Compoundierungsprozess mittels Extrusion mit anschließendem Spritzguss, der der Verarbeitung zu plattenförmigen Probekörpern dient. Rasterelektronenmikroskopie- und Computertomografieuntersuchungen der Plattenquerschnitte werden durchgeführt. Die Einflüsse der Carbon Black- (5 Gew.-%, 20 Gew.-%, 30 Gew.-%) und Holzpartikelanteile (13 Gew.-% - 30 Gew.-%) sowie der Benetzungsmethodik auf den elektrischen Oberflächenwiderstand werden mit dem Ziel untersucht ein elektrostatisch dissipatives Material mit möglichst geringem Leitrußanteil zu erhalten. Dabei wurde festgestellt, dass die Perkolationsschwelle der verwendeten Systeme zwischen 5 Gew.-% und 20 Gew.-% Carbon Black liegt. Die Einarbeitung trocken benetzter Holzpartikel mit 20 Gew.-% Leitruß hat eine Verringerung des elektrischen Oberflächenwiderstands im Vergleich zu Composites ohne Holzanteil zur Folge. Des Weiteren konnte eine Erhöhung der elektrischen Leitfähigkeit durch die Verringerung der Kühlrate im Spritzgussprozess gezeigt werden.