Grundlagen der 3D-Bildverarbeitung: Erfassung und Verarbeitung von 3D-Daten
Sommersemester 2020
Zielgruppen: Master-Studenten der IA. Master-Studenten der Fakultäten EI, MB in Modulen zur Bildverarbeitung, 3D-Vision, Technischen Erkennung oder Optronik.
Aktuelles im Sommersemester 2020
Hier finden Sie einen Überblick zur Vorlesung und den geplanten Inhalten im Sommersemester 2020.
- Falls Sie Interesse an der Vorlesung haben, schreiben Sie sich bitte im moodle dafür ein!
Das Einschreibepasswort erhalten Sie auf Anfrage per eMail an rico.nestler@tu-ilmenau.de.
Verantwortlich
Voraussetzungen
gute Kenntnisse in Physik, Mathematik aber auch Informations- bzw. Nachrichtentechnik (Vorlesungen zu Systemtheorie, Signalen & Systemen), hilfreich: Systemtechnik und Systemtheorie der Bildverarbeitung (Prof. Notni), Grundlagen der Bildverarbeitung und Mustererkennung (Bildverarbeitung 1), Grundlagen der Farbbildverarbeitung (Bildverarbeitung 2)
Umfang
- 2 SWS Vorlesung, 1 SWS Übung
Termine
Termine:
- Vorlesung
Mittwochs, 13:00-14:30 Uhr - Übung
Donnerstags (U), 11:00-12.30 Uhr - Klausur (WS 20/21)
Nachholerprüfungen werden im WS 20/21 am 26.03.2021 mündlich durchgeführt. Bitte nehmen Sie mit dem Dozenten Kontakt auf.
Überblick
Die Veranstaltung Erfassung und Verarbeitung von 3D-Daten (3D-Bildverarbeitung) widmet sich technischen Ansätzen zur Gewinnung von Tiefeninformationen, den dabei erforderlichen Datenverarbeitungsaspekten. Der Schwerpunkt liegt auf optischen Ansätzen zur 3D-Datenerfassung, den zugehörigen systemtechnischen Realisierungen, den notwendigen theoretischen Grundlagen sowie Methoden / Verfahren der (Bild)Datenverarbeitung.
Mögliche Anwendungsgebiete dieser Techniken sind heutzutage sehr vielfältig und weit verbreitet, z.B. computergrafische Modellierungen dreidimensionaler Objekte (Reverse Engineering), Abstandsmessungen in selbstfahrenden Fahrzeugen oder zur Fahrerassistenz, Oberflächeninspektionen oder Prüfungen auf Maßhaltigkeit in der Qualitätssicherung, Lageschätzungen oder Hindernislokalisierung in der Robotik bzw. der Sicherheitstechnik. Verfahren zur Gestaltsrekonstruktion beinhalten in starkem Maße Elemente und Techniken der klassischen Bildverarbeitung. Genauso sind zur Erfüllung von Erkennungsaufgaben mit monokularer Bildverarbeitung heutzutage zunehmend 3D-Aspekte zu berücksichtigen.
Die Verarbeitungsaspekte zur Gewinnung der 3D-Information werden in der Vorlesung ansatzbezogen diskutiert. Die ausführliche Darstellung des klassischen Verfahrens der Stereo- und Multikamera-Vision wird durch aktuelle Ansätze, wie die Weißlichtinterferometrie, die Fokusvariation oder das Time of Flight-Prinzip ergänzt. Die Veranstaltung schließt im Grundlagenteil wichtige systemtechnische, optische und geometrische Gesetzmäßigkeiten von Bildaufnahmeprozessen sowie Grundzüge der projektiven Geometrie ein.
Der Studierende erhält einen umfassenden Überblick zu Verfahren der Rekonstruktion von Objektoberflächen oder zur Abstandsanalyse ausgewählter Szenen-/Objektpunkte in dreidimensionalen Szenen. Dabei werden die theoretischen Grundlagen, die systemtechnischen Aspekte und die Methoden / Verfahren zur Ableitung räumlich, geometrischer Szeneninformationen aus digitalen Bildern diskutiert.
Aufbauend auf den vermittelten Inhalten ist der Studierende befähigt, sein Wissen in konkreten Anwendungen in einem der oben genannten Felder einzusetzen bzw. kann dieses im Rahmen weiterer Vorlesungen zur angewandten Bildverarbeitung, z.B.
- Systemtechnik und Systemtheorie der Bildverarbeitung (Prof. Notni),
sowie zur bildbasierten Mustererkennung / künstlichen Intelligenz weiter auszubauen und spezialisieren.
Die Veranstaltung ist begleitet von Übungen bzw. Exkursionen, in denen Vorlesungsinhalte nachbereitet und vertieft diskutiert werden.
Vorlesungsinhalte
- Einleitung
- Historische und wahrnehmungsphysiologische Aspekte der 3D-Erfassung
- Überblick zu technischen Grundansätzen zur optischen 3D-Erfassung
- Grundlagen
- Algebraische Beschreibung von geometrischen Transformationen, Abbildungen und Messanordnungen
- Optische Grundlagen
- Binokularer / multiokularer inkohärent optischer Ansatz zur 3D-Erfassung
- Primärdatenaufbereitung
- Tsai-Modellierung von Messkameras
- Polynokulare Messanordnungen und -systemkalibrierung
- 3D-Bildverarbeitung
- Korrespondenzsuche in Bildern: Constraints und Algorithmen
- Verfahren zum subpixelgenauen Erfassen von Strukturorten
- Musterprojektion und strukturiertes Licht
- Anwendungen
- 3D über monokular erfasste Tiefenmerkmale / 3D-Aspekte der Bildverarbeitung
- Depth from -Motion, -Shading, -Texture, -Fokus: Prinzipien und Randbedingungen der praktischen Anwendung
- Praxisrelevante weitere Ansätze zur 3D-Erfassung

Literatur
- R. Hartley, A. Zisserman: Multiple View Geometry in computer vision. Cambridge University Press, 2010, ISBN 987-0-521-54051-3
- G. Hauske, Systemtheorie der visuellen Wahrnehmung. Shaker Verlag 2003, ISBN 978-3832212933
- R. Klette, A. Koschan, K. Schlüns: Computer Vision – Räumliche Information aus digitalen Bildern. Vieweg Verlag, Braunschweig/Wiesbaden, 1996, ISBN 3-528-06625-3
- W. Richter: Grundlagen der Technischen Optik, Vorlesungsskripte, Technische Universität Ilmenau, Institut für Lichttechnik und Technische Optik, Fachgebiet Technische Optik
- R. Zhang et.al.: Shape from Shading: A Survey. IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, Vol. 21, Nr. 8, S. 690-706, 1999
- O. Schreer: Stereoanalyse und Bildsynthese, Springer, 2005, ISBN 3-540-23439-X
- Middlebury Stereo Vision Page:Taxonomy and comparison of many two-frame stereo correspondence algorithms. http://vision.middlebury.edu/stereo/
- sowie die Vorlesungsunterlagen zu den Fächern Systemtechnik und Systemtheorie der Bildverarbeitung (Prof. Notni),Grundlagen der Bildverarbeitung und Mustererkennung und Grundlagen der Farbbildverarbeitung
Abschluss
schriftliche Prüfung 60 min, mündliches Prüfungsgespräch nach Vereinbarung
Unterlagen
Skripte & Übungsmaterialien (zuletzt aktualisiert 9.07.2020)
Vorlesungen
![]() | ||
Kapitel 0: Einführung | SS2020 | ![]() |
Kapitel 1: Geschichtliches, physiologische und psychologische Grundlagen der Tiefenwahrnehmung, 3D-Aspekte in technisch erfassten Bildern
| SS2020 | ![]() |
Kapitel 2: Technische Grundansätze der optischen 3D-Erfassung, Schwerpunkte der Vorlesung, Anwendungsbeispiele | SS2020 | ![]() |
Kapitel 3.1: Geometrische Transformationen (Isometrien, Affinitäten und Perspektivitäten) | SS2020 | ![]() |
Kapitel 3.2: Projektiver Raum / homogene Koordinaten, Algebraische Beschreibungen konkreter Abbildungsprobleme (Zentral- und Parallelprojektion) | SS2020 | ![]() |
Kapitel 3.3: Optische Grundlagen | SS2020 | ![]() |
Kapitel 4.1: Beschreibung und Kalibrierung von Messkameraanordnungen (Tsai-Kameramodellierung, targetbezogene und szenenbezogene Kalibrierung) | SS2020 | ![]() |
Kapitel 4.2: Korrespondenzanalysen in Mehrkameraansichten (Überblick), Annahmen und Einschränkungen für die Korrespondenzsuche (Constraints), der Epipolar-Constraint | SS2020 | ![]() |
Kapitel 4.3: Verfahren der pixelwertbasierten Korrespondenzanalyse (lokal, global, semi-global), Prinzip des merkmalbasierten Vorgehens | SS2020 | ![]() |
Kapitel 5.1: Verfahren der aktiven, optisch geometrischen 3D-Datenerfassung: strukturiertes Licht & Musterprojektion (Grundlagen) | SS2020 | ![]() |
Kapitel 5.2: Verfahren der aktiven, optisch geometrischen 3D-Datenerfassung: strukturiertes Licht & Musterprojektion (Systeme und Systemkalibrierung) | SS2020 | ![]() |
Kapitel 6: Verfahren zur subpixelgenauen Bestimmung von Strukturorten (photogrammetrische Auswertung von Punkt- und Kantenobjekten) | SS2020 | ![]() |
Kapitel 7.1: Monokulare Ansätze zur 3D-Datenerfassung über sekundäre Tiefenmerkmale 1: Shape from Motion (Optischer Fluss), -Shading, -Texture | SS2020 | ![]() |
Kapitel 7.2: Monokulare Ansätze zur 3D-Datenerfassung über sekundäre Tiefenmerkmale 2: Auswertung von Fokusserien, Shape from Focus (Verfahren der Fokusvariation) | SS2020 | ![]() |
Hinweise zur Prüfungsvorbereitung (laufend aktualisiert) | SS2020 | ![]() |
Übungen
![]() | ||
Übungsunterlagen/Bonus-Hausaufgabe 1: Vereinbarungen zu Koordinatensystemen, Winkeln und Strecken, Physiologie der menschlichen Tiefenwahrnehmung (Bonusaufgabe 10%), Horopter & Panum | SS2020 |
|
Übungsunterlagen/Bonus-Hausaufgabe 2: Projektive Räume und homogene Koordinaten (Bonusaufgabe 5%) | SS2020 | |
Übungsunterlagen 3: Tsai-Kameramodell (+ Musterlösung) / Constraints f. Korrespondenzanalysen | SS2020 |
|
Übungsunterlagen 4: Binokulare Anordungen, binokulare 3D-Rekonstruktion (+ Musterlösungen) | SS2020 |
|
Praxisübung am 2.7.: Systeme zur flächenhaften 3D-Erfassung und deren Anwendungen in der Qualitätssicherung am Fachgebiet Qualitätssicherung und industrielle Bildverarbeitung | SS2020 | bitte in Moodle eintragen |
Praxisübung am 16.7.: 3D-Datenerfassung zur Arbeitsraumüberwachung, MRK und Defekterkennung mit aktiven und passiven Verfahren, Gewinnung von 3D-Daten mit Weißlicht-Interferometrie am ZBS e.V. Ilmenau | SS2020 | bitte in Moodle eintragen |