Body features and face-mesh based video data cleaning for sleep condition monitoring. - Ilmenau. - 84 Seiten
Technische Universität Ilmenau, Masterarbeit 2023
In den letzten Jahren leiden immer mehr Mensch unter den Symptomen von Schlafstörungen. Diese Symptome können durch die Überwachung der Vitalparameter diagnostiziert werden. Herkömmliche Überwachungsmethoden wie die Polysomnographie (PSG) sind kompliziert in der Anwendung und beeinträchtigen die Qualität des Schlafs des Patienten. Ein multimodales und multispektrales Sensorsystem ermöglicht die Fernschätzung der Vitalparameter des menschlichen Körpers direkt aus dem Video, das von der Kopfposition, -orientierung und -bewegung abhängig ist. Um sicherzustellen, dass die Vitaldaten effektiv extrahiert werden können, muss daher in der Phase der Datenvorverarbeitung die Auswertbarkeit der erfassten Videodaten bestimmt werden. In der vorangegangenen Arbeit wurde das oben genannte Sensorsystem zur Langzeitüberwachung der Vitalparameter von Patienten mit Schlafapnoe im Schlaflabor des Universitätsklinikums Essen eingesetzt. Nach dem Stand der Technik gibt es keinen Anwendungsfall für die Reinigung von Gesichtsvideos zur Extraktion von Vitaldaten im medizinischen Umfeld. In dieser Arbeit wird eine stabile und effektive Methode auf der Grundlage von maschinellem Lernen und Techniken zur Gesichtsdetektion für die Bereinigung von Gesichtsvideodaten in diesem speziellen Szenario vorgeschlagen. Zunächst wird für jedes aufgenommene Bild das Gesicht detektiert und mit 478 Landmarken auf der Grundlage des Mediapipe Solution Face Mesh dargestellt. Diese Landmarken werden weiter definiert und als Gesichtsmerkmale ausgewählt. Mit den definierten und ausgewählten Gesichtsmerkmalen kann die Datenauswertbarkeit durch die Einstellung der Schwellenwerte bestimmt werden. In dieser Arbeit wurde maschinelles Lernen integriert, um die traditionelle Schwellenwertmethode für diese binäre Klassifizierung zu ersetzen. Darüber hinaus werden auch Arm- und Handdetektion berücksichtigt, um die Bilder mit typischen Verdeckungen des Gesichts zu bereinigen. Um die Leistung der vorgeschlagenen Methode zu bewerten, wurden 128-stündige Videos von 16 Patienten während des Schlafs mit 15,2-Hz-Bildern aufgenommen. Obwohl die Qualität der Grundwahrheit aufgrund der menschlichen Subjektivität variieren kann, was sich negativ auf das Modelltraining auswirkt, kann die vorgeschlagene Methode bei der Leave-One-Out-Validierung immer noch eine Genauigkeit von über 90 % erreichen.
Proof of concept : deep learning based Ratio-of-Ratio analysis for Irritation-Free contactless pulse oximetry. - Ilmenau. - 105 Seiten
Technische Universität Ilmenau, Masterarbeit 2023
Das Verhältnis von gesamtem Hämoglobin (Hb) zur Menge des sauerstoffbindenden Hämoglobins (HbO2) im Blut wird als Sauerstoffsättigung bezeichnet. Während der COVID-19-Pandemie hat sich das Pulsoximeter, das die periphere Sauerstoffsättigung (SpO2) auf kontakthaltige Weise an der Fingerspitze misst, zu einem beliebten Produkt entwickelt. Im Hinblick auf eine bessere Hygiene und Bequemlichkeit können kontaktlose Messmethoden zur langfristigen bewässerungsfreien SpO2-Messung beitragen, wie z.B. die Diagnose und Überwachung von Patienten mit Schlafapnoe. Nach Untersuchungen zum Stand der Technik sind herkömmliche signal- oder bildbasierte Ansätze in der Regel weniger genau. In dieser Arbeit wird ein neuartiger Ansatz vorgeschlagen, um die kontaktlose Messung von SpO2 aus nahinfraroten Multispektralvideos unter Verwendung von Deep Learning zu erreichen. Die dreidimensionalen Convolutional Neural Networks (3D-CNN) werden zur Schätzung von SpO2 direkt aus hyperspektralen Videodaten nach einer Vorverarbeitungsphase eingesetzt, die unter anderem die Korrektur von Schatten, globales Enttrenden und die Normalisierung spektraler Kanäle beinhaltet. Im Experiment wurden mehr als 400 Minuten Videodaten verschiedener Handflächen- positionen von sieben Teilnehmern mit einer infraroten Hyperspektral- kamera mit 25 Kanälen von 690 nm bis 950 nm erfasst. Der tatsächliche SpO2-Wert, der vom Pulsoximeter an der Fingerspitze aufgezeichnet wurde, variierte zwischen 81% und 99%. Mit dem vorgeschlagenen Ansatz kann in verschiedenen Bewertungsszenarien der mittlere absolute Fehler (MAE) der geschätzten SpO2-Werte auf weniger als 2,6% reduziert werden, und der Pearson-Korrelationskoeffizient zwischen geschätzten zeitlichen SpO2-Schwankungen und tatsächlichen Werten einer einzelnen 5-minütigen Messung kann auf über 0,80 ansteigen. Es ist vorstellbar, dass Faktoren wie Hautfarbe, Umgebungs- lichtverhältnisse oder individuelle Handabdrücke zu einer Verschiebung der Domäne zwischen den Test- und Trainingsdaten beitragen können. Trotzdem hat der vorgeschlagene Ansatz in unserem Experiment auch zufriedenstellende Generalisierungsfähigkeiten gezeigt.
Implementation of a pre-processing data pipeline for multispectral image processing. - Ilmenau. - 92 Seiten
Technische Universität Ilmenau, Masterarbeit 2023
Multispektrale Bildgebung (MSI) kann hochaufgelöste Spektraldaten über einen breiten Bereich von Bändern aufzeichnen und hat sich in vielen Bereichen wie der medizinischen Bildgebung, der Fernerkundung, der Minenerkennung und der militärischen Zielverfolgung als sehr nützlich erwiesen. MSI ist Teil der Spektralbildgebung und kombiniert die Vorteile von Spektral-, Textur- und Forminformationen. Es kann versteckte Informationen in einer Szene aus verschiedenen Spektralbereichen aufdecken und die Systemeffizienz steigern, indem es diese Informationen in Bilderkennungsaufgaben integriert. Die inhärente Natur multispektraler Daten, die durch hohe Dimensionalität und Rechenkomplexität gekennzeichnet sind, stellt jedoch große Herausforderungen für eine effektive Bildverarbeitung und -klassifizierung dar. Unser Ziel ist es, diese Herausforderungen durch die Anwendung und Entwicklung einer innovativen Vorverarbeitungsdatenpipeline zu bewältigen, die auf multispektrale Bilder zugeschnitten ist. Da bestehende Vorverarbeitungspipelines für Bilderkennungsaufgaben Mängel aufweisen, versucht diese Arbeit, die Effizienz und Genauigkeit des Modelltrainings zu verbessern und dabei Algorithmen zur Reduzierung der Dimensionalität zu berücksichtigen. Die Methodik umfasst eine umfassende Überprüfung bestehender Dimensionsreduktionsalgorithmen und die Formulierung einer Kombination von Vorverarbeitungsfunktionen. Damit wird auch das Thema Maschinelles Lernen im Rahmen dieser Arbeit eingeführt. In der theoretischen Diskussion präsentieren wir einen Datensatz, der zum Entwurf und zur Implementierung einer neuen Vorverarbeitungspipeline führt, die modernste Algorithmen zur Dimensionsreduktion enthält. Darüber hinaus wird die Bildklassifizierung als Leistungsbewertung der ausgewählten Vorverarbeitungstechniken angenommen und die ausgewählten Bildklassifizierungsmodelle vorgestellt. In unserem Versuchsaufbau arbeiten wir an der Anwendung dieser Modelle auf vorverarbeitete Daten und präsentieren Ergebnisse in Form einer durchschnittlichen Top-1-Genauigkeit für die Kombination ausgewählter Modelle und Vorverarbeitungsfunktionen an Testdaten. Durch die Bereitstellung eines systematischen Ansatzes zur multispektralen/hyperspektralen Bildvorverarbeitung verbessert diese Studie die Vorverarbeitungsmethoden und trägt dazu bei, das volle Potenzial hyperspektraler Daten in realen Anwendungen auszuschöpfen.
Auswertung multimodaler Messdaten eines sensorbasierten Wegerfassungssystems mit den Werkzeugen der Qualitätssicherung. - Ilmenau. - 160 Seiten
Technische Universität Ilmenau, Masterarbeit 2023
Die Vermessung und Digitalisierung von Waldwegen im übergeordneten Projekt erfolgt mit zwei 2D-LIDAR-Sensoren, zwei TOF-Kameras und zwei Stereo-Kameras. Die fusionierte 3D-Punktwolke verfügt über metrische Informationen sowie Infrarot-, Remissions- und Spektralwerte. Das Ziel dieser Arbeit ist die Auswahl und Übertragung einiger klassischer Qualitätssicherungswerkzeuge auf das beschriebene Messprojekt sowie die Ermittlung der optimalen Steuerfaktorkombination der Sensoren für die Vermessung von Waldwegen. Als Referenz für die Beurteilung der metrischen Messdaten dient ein hochgenaues 3D-Lidar-System. Die Analyse des Sensorsystems ist in drei Stufen gegliedert: unter Laborbedingungen, unter Extrembedingungen und unter realen Bedingungen. Die Analyse der Sensoren unter Laborbedingungen erfolgt nach dem Standardablauf einer Messsystemanalyse. Um die optimale Einstellung der Sensoren für die Anwendung auf Waldwegen zu ermitteln, werden zunächst alle potenziellen Steuer- und Störfaktoren ermittelt. Der Einfluss einiger Störfaktoren kann bereits im Vorfeld rein rechnerisch als vernachlässigbar gering eingestuft werden. Die verbleibenden Störfaktoren und deren Einfluss auf das Messergebnis werden unter Extrembedingungen in einem Variablenvergleich analysiert. Mit Hilfe von Versuchsplänen nach Taguchi werden anschließend die Steuerfaktoren der Sensoren unter realen Bedingungen untersucht, um die Steuerfaktorkombination zu ermitteln, bei der die Störfaktoren den geringsten Einfluss auf das Messergebnis haben.
Technische Universität Ilmenau, Masterarbeit 2023
In der industriellen Qualität spielt die Analyse und Klassifizierung von Schüttgütern eine wichtige Rolle sowohl in der Lebensmittelindustrie als auch im Bauwesen und Recycling. Zum Beispiel ist die automatisierte Analyse von Gesteinen für die Verwendung als Zuschlagstoffe im Beton unerlässlich, um zukünftige Zerstörungen durch reaktive Gesteine in Form von Alkali-Silica-Reaktion zu verhindern. Diese Arbeit zielt darauf ab, durch einen Algorithmus die Masse jedes Gesteinstyps, der als Zuschlagstoffe verwendet wird, zu schätzen, um ihre Qualität im Beton zu kontrollieren, indem mehrere Proben untersucht werden. Dazu werden Daten verwendet, die mit einem 3D-Laserlinienscanner und einer Präzisionswaage erfasst wurden, um die geschätzten Massenergebnisse jedes Gesteinstyps mit ihrer tatsächlichen Masse zu vergleichen.
Technische Universität Ilmenau, Bachelorarbeit 2023
Bei der Steinbeis Qualitätssicherung und Bildverarbeitung GmbH wird im Rahmen des Forschungsprojekts "HyPetro" die VIS- und NIR-hyperspektrale Beleuchtung für ein hyperspektrales Bildverarbeitungssystem entwickelt. Diese Arbeit befasst sich mit der Entwicklung der Steuerungselektronik und -software für die NIR-hyperspektrale Beleuchtung. In den ersten Kapiteln werden Grundlagen über verschiedene Leuchtmittel behandelt sowie auf verschiedenen Beleuchtungsstrategien, die in der Bildverarbeitung zum Einsatz kommen, eingegangen. Es werden eine Anforderungsliste und Funktionstruktur erstellt, anhand derer die Komponenten für die Steuerungselektronik ausgewählt werden. Darauf folgt der Entwurf von Leiterplatten, um die Komponenten elektronisch miteinander zu verbinden und die Steuerungssoftware geschrieben. Als Grundlage für die Software wird ein Programmablaufplan erstellt. Ein erstes Funktionsmuster der Beleuchtung wird aufgebaut, mit welchem die Funktionalität der Steuerung und die technischen Parameter im Betrieb der Beleuchtung überprüft werden.
Entwicklung eines Konzeptes für einen Mikrotiterplatten-Reader. - Ilmenau. - 116 Seiten
Technische Universität Ilmenau, Masterarbeit 2023
Im Rahmen dieser Masterarbeit wird in Zusammenarbeit mit dem Unternehmen Steinbeis Qualitätssicherung und Bildverarbeitung GmbH ein Konzept für einen Mikrotiterplatten-Reader mit Digitalkamera entwickelt. Mikrotiterplatten-Reader sind in der Medizintechnik eingesetzte Laborgeräte, welche die Auswertung verschiedenster medizinischer Nachweisreaktionen mittels Bildverarbeitung ermöglichen. Die Konzeptentwicklung beinhaltet theoretische und experimentelle Untersuchungen, auf deren Grundlage das Bildverarbeitungssystem entworfen wird. Es werden sich grundlegend unterscheidende Anordnungskonzepte mit einer und mehreren Kameras sowie verschiedenen Beleuchtungssystemen untersucht. Dabei wird festgestellt, dass der Einsatz von Low-Cost-Bildverarbeitungskomponenten ein vielversprechender Ansatz für die Neuentwicklung eines Lesegeräts für Mikrotiterplatten ist. Weiterhin wird geprüft, ob die Verwendung eines Multi-Kamera-Systems zweckmäßig ist. Die Arbeit zeigt, dass der Einsatz mehrerer in einer Reihe angeordneter Kameras funktionserfüllend ist, zugleich aber kaum Vorteile gegenüber einer Einzelkameraanwendung hat. Im Rahmen dieser Masterarbeit wird schließlich ein aus einer Kamera bestehendes Low-Cost-Bildverarbeitungssystem mit Auf- und Durchlicht ausgewählt. Weiterhin beinhaltet die Konzeptentwicklung die Auslegung des 3-Achs-Positioniersystems. Dazu werden Lösungsprinzipe zur Umsetzung der Relativbewegung zwischen der Mikrotiterplatte und der Kamera erarbeitet und bewertet. Nach der Auswahl eines Positioniersystems werden die mechanischen und elektronischen Komponenten dimensioniert. Schlussendlich stehen ein CAD-Modell und ein Schaltplan zur Verfügung. Die Ergebnisse dieser Arbeit bilden die Grundlage zur Entwicklung eines funktionsfähigen Prototyps. Dieser wird ein erster Schritt hin zur Entwicklung eines serienreifen Mikrotiterplatten-Readers sein.
Technische Universität Ilmenau, Masterarbeit 2022
Diese Arbeit beschäftigt sich mit grundlegenden Untersuchungen im Bereich der hyperspektralen Bildgebung. Als Grundlage diente ein Hyperspektraldatensatz verschiedener Gesteinskörnungen, bei denen sich die Klassen hinsichtlich ihrer Eignung für die Betonherstellung unterscheiden und deshalb bestmöglich mittels maschinellen Lernverfahren klassifiziert werden sollen. Für die Optimierung des Klassifikationsprozesses wurde eine lineare Diskriminanzanalyse als Dimensionsreduktionsverfahren sowie Bandselektionsverfahren untersucht, welche relevante Spektralkanäle des Hyperspektralkubus bestimmen sollen. Für die Klassifikation kam ein auf Form-, Farb- und Texturmerkmalen trainierter Random-Forest-Klassifikator zur Anwendung. Die Berechnung der Bildmerkmale erfolgte auf Basis der ortsaufgelösten Bilder ausgewählter Spektralbänder. Darüber hinaus wurden einzelne Punktspektren des Datensatzes klassifiziert, sowie das Deep-Learning-Modell ResNet-50 auf dimensionsreduzierte Bilder angewandt. Im Rahmen der Untersuchungen ermöglichte keine der betrachteten Klassifikationsmethoden allein, den Datensatz mit einer Erkennungsrate von über 99% hinreichend genau zu klassifizieren. Es erwies sich jedoch eine Kombination von Klassifikationsmodellen auf Entscheidungsebene sowie auf Merkmalsebene als sinnvoll. So brachte eine Kombination der Bildmerkmale, die einerseits auf Spektralkanälen des Hyperspektralkubus und anderseits auf dimensionsreduzierten 3-Kanalbildern berechnet wurden, die höchsten Erkennungsraten. Dabei führte eine höhere Anzahl an genutzten Spektralbändern stets zu höheren Erkennungsraten, während eine Erhöhung der berechneten Bildmerkmale nicht immer zu einer Verbesserung des Klassifikationsergebnisses führte. Embedded Merkmalsselektionsverfahren konnten erfolgreich charakteristische Spektralbänder des Datensatzes ermitteln. Aufgrund der geringen Interklassenvariabilität des Datensatzes sind die ermittelten Kanäle verschiedener Klassen jedoch oft identisch. Bei einer Klassifikation auf Basis von Punktspektren ist ein möglichst großer Spektralbereich von Vorteil. Für weitere Untersuchungen bietet sich eine Kombination aus klassischen Klassifikatormodellen auf Basis von Bildmerkmalen und Punktspektren, sowie die Nutzung von Deep-Learning-Modellen an.
Untersuchungen zu dynamischen Kalibrierverfahren im 2D-Bild mittels eines virtuellen Kalibriernormals. - Ilmenau. - 163 Seiten
Technische Universität Ilmenau, Masterarbeit 2022
Diese Masterarbeit befasst sich mit der Entwicklung eines langzeitstabilen und wirtschaftlichen Kalibrierverfahrens für die 2D-Bildverarbeitung mit Hilfe eines virtuellen Kalibriernormals. Hierzu werden zunächst die Möglichkeiten der Kalibrierung optischer 2D-Bildverarbeitungssysteme erörtert sowie verschiedene Arten von Kalibriernormalen und Messfehlern. Anschließend werden Untersuchungen zur Eignung des Verfahrens an einem Koordinatenmessgerät durchgeführt. Ein weiteres Arbeitsergebnis ist die Konstruktion einer justierfähigen Kalibriernormalaufnahme, welche sowohl auf einem Koordinatenmessgerät, als auch im System Qualileo eingesetzt werden kann. Zuletzt wird die Eignung des Verfahrens am dafür geplanten optischen Bildverarbeitungssystem überprüft.
Erweiterung und Inbetriebnahme eines bildgestützten autopetrographischen Analysesystems und Implementierung einer objektgenauen RGB-Z-Datenfusion von CCD-Farbzeilenkamera und 3D-Laser-Line-Scanner. - Ilmenau. - 191 Seiten
Technische Universität Ilmenau, Masterarbeit 2022
Zur Vermeidung einer Alkali-Kieselsaure-Reaktion (AKR) in der Betonindustrie ist es zwingend erforderlich, alle AKR-kritischen Gesteinsklassen im Betonzuschlagstoff (Gestein) mit ihrem Masseanteil korrekt als solche zu klassifizieren, um kritische Lagerstätten bzw. Gesteinschargen von der Betonherstellung auszuschließen. In dieser Arbeit wurde das im Fachgebiet Qualitätssicherung und Industrielle Bildverarbeitung vorhandene bildgestützte petrografische Analysesystem, das für eine Klassifizierung der Gesteinsklassen konzipiert ist, zunächst in Betrieb genommen. Neben einer einheitlichen Ansteuerung über Python wurden die Farbzeilenkamera (RGB) und die Beleuchtungseinrichtungen justiert. Zur Berechnung des Massenanteils mit Hilfe der spezifischen Dichte ist die Höhenmessung der Objekte notwendig. Der vorhandene Aufbau wurde mit einem 3D-Laser-Line-Scanner zur Messung der Profilhöhe und des Volumens erweitert. Die Auswahl der untersuchten Scannern wurde mittels einer Bewertungsmatrix nach VDI 2555 realisiert. Für eine datenverlustfreie und kontinuierliche Aufnahme von RGB- und 3D-Informationen mehrerer ankommender Objekte wurde ein Algorithmus konzipiert, der es ermöglicht aus dem kontinuierlichen Datenfluss über den ersten Zuschnitt der Szene und dem anschließenden Zuschnitt des Objektes die notwendigen Informationen zu extrahieren. Aufgrund der sequentiellen Bearbeitung in Python wurden die Prozesse per Multiprocessing parallelisiert. Es wurde für eine richtige Informationszuordnung der Objekte ein Vorgehen implementiert, das aus den ankommenden Daten über die Konturmerkmale die RGB-Daten den 3D-Daten zuordnet. Um dem Deep-Learning-Modell die notwendigen Objektdaten zum Antrainieren weiterzugeben muss jedem Pixel im RGB-Bild eine 3D-Information (x-, y- und z-Informationen) zugewiesen werden. Es wurden für die Datenfusion von RGB-Daten und 3D-Daten verschiedene Methoden verglichen. Es wurden die Interpolationsverfahren mit dem Joint Bilateral Upsampling (JBU) und den Markov Random Fields (MRF) anhand von statistischen und kantenbasierter Bewertungsgrößen verglichen. Nach der Fusion wurde ein Vorgehen in der Nachbearbeitung entwickelt, das eine pixelgenaue Fusion von RGB-Daten und 3D-Daten ermöglicht.