Zielgruppen: Master-Studenten der IA. Master-Studenten der Fakultäten EI, MB in Modulen zur Bildverarbeitung, 3D-Vision, Technischen Erkennung oder Optronik.

• Dr.-Ing. Rico Nestler
• Univ-Prof. Dr. rer. nat. Gunther Notni

gute Kenntnisse in Physik, Mathematik aber auch Informations- bzw. Nachrichtentechnik (Vorlesungen zu Systemtheorie, Signalen & Systemen), hilfreich: Systemtechnik und Systemtheorie der Bildverarbeitung (Prof. Notni), Grundlagen der Bildverarbeitung und Mustererkennung (Bildverarbeitung 1), Grundlagen der Farbbildverarbeitung (Bildverarbeitung 2)

• 2 SWS Vorlesung, 1 SWS Übung

Termine (SoSe 20, Stand 2.7.): 

• Vorlesung
  (Online): ab 22.4. Mittwochs, 13:00-14:30 Uhr, Cisco Webex Die Einladungen werden per Mail verschickt!
  Bitte schreiben Sie sich dafür bei Moodle ein!
  Ergänzungstermin am 25.6., 16:45-18:15 Uhr, Cisco Webex
  Die Einladung wird per Mail verschickt!
• Übung
  (Präsenz je nach aktueller Lage): ab 7.5. Donnerstags (U), 11:00-12.30 Uhr, Sr HU 129 oder Cisco Webex
  Im Sommersemester 2020 werden aufgrund der aktuellen Situation weniger rechnerische Übungen durchgeführt.
  Zu einigen Übungs­ter­mi­nen finden Vorlesungen statt. Die Festlegung erfolgt in der Vorlesung.
  
  
• Klausur
  24.8.2020, 11:00-12:00 Uhr, Hu-Hs
  

Die Veranstaltung Erfassung und Verarbeitung von 3D-Daten (3D-Bildverarbeitung) widmet sich technischen Ansätzen zur Gewinnung von Tiefeninformationen, den dabei erforderlichen Datenverarbeitungsaspekten. Der Schwerpunkt liegt auf optischen Ansätzen zur 3D-Datenerfassung, den zugehörigen systemtechnischen Realisierungen, den notwendigen theoretischen Grundlagen sowie Methoden / Verfahren der (Bild)Datenverarbeitung. 

Mögliche Anwendungsgebiete dieser Techniken sind heutzutage sehr vielfältig und weit verbreitet, z.B. computergrafische Modellierungen dreidimensionaler Objekte (Reverse Engineering), Abstandsmessungen in selbstfahrenden Fahrzeugen oder zur Fahrerassistenz, Oberflächeninspektionen oder Prüfungen auf Maßhaltigkeit in der Qualitätssicherung, Lageschätzungen oder Hindernislokalisierung in der Robotik bzw. der Sicherheitstechnik. Verfahren zur Gestaltsrekonstruktion beinhalten in starkem Maße Elemente und Techniken der klassischen Bildverarbeitung. Genauso sind zur Erfüllung von Erkennungsaufgaben mit monokularer Bildverarbeitung heutzutage zunehmend 3D-Aspekte zu berücksichtigen.

Die Verarbeitungsaspekte zur Gewinnung der 3D-Information werden in der Vorlesung ansatzbezogen diskutiert. Die ausführliche Darstellung des klassischen Verfahrens der Stereo- und Multikamera-Vision wird durch aktuelle Ansätze, wie die Weißlichtinterferometrie, die Fokusvariation oder das Time of Flight-Prinzip ergänzt. Die Veranstaltung schließt im Grundlagenteil wichtige systemtechnische, optische und geometrische Gesetzmäßigkeiten von Bildaufnahmeprozessen sowie Grundzüge der projektiven Geometrie ein.

Der Studierende erhält einen umfassenden Überblick zu Verfahren der Rekonstruktion von Objektoberflächen oder zur Abstandsanalyse ausgewählter Szenen-/Objektpunkte in dreidimensionalen Szenen. Dabei werden die theoretischen Grundlagen, die systemtechnischen Aspekte und die Methoden / Verfahren zur Ableitung räumlich, geometrischer Szeneninformationen aus digitalen Bildern diskutiert.

Aufbauend auf den vermittelten Inhalten ist der Studierende befähigt, sein Wissen in konkreten Anwendungen in einem der oben genannten Felder einzusetzen bzw. kann dieses im Rahmen weiterer Vorlesungen zur angewandten Bildverarbeitung, z.B.

sowie zur bildbasierten Mustererkennung / künstlichen Intelligenz weiter auszubauen und spezialisieren.

Die Veranstaltung ist begleitet von Übungen bzw. Exkursionen, in denen Vorlesungsinhalte nachbereitet und vertieft diskutiert werden.

• R. Hartley, A. Zisserman: Multiple View Geometry in computer vision. Cambridge University Press, 2010, ISBN 987-0-521-54051-3
• G. Hauske, Systemtheorie der visuellen Wahrnehmung. Shaker Verlag 2003, ISBN 978-3832212933
• R. Klette, A. Koschan, K. Schlüns: Computer Vision – Räumliche Information aus digitalen Bildern. Vieweg Verlag, Braunschweig/Wiesbaden, 1996, ISBN 3-528-06625-3
• W. Richter: Grundlagen der Technischen Optik, Vorlesungsskripte, Technische Universität Ilmenau, Institut für Lichttechnik und Technische Optik, Fachgebiet Technische Optik
• R. Zhang et.al.: Shape from Shading: A Survey. IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, Vol. 21, Nr. 8, S. 690-706, 1999
• O. Schreer: Stereoanalyse und Bildsynthese, Springer, 2005, ISBN 3-540-23439-X
• Middlebury Stereo Vision Page:Taxonomy and comparison of many two-frame stereo correspondence algorithms. http://vision.middlebury.edu/stereo/
• sowie die Vorlesungsunterlagen zu den Fächern Systemtechnik und Systemtheorie der Bildverarbeitung (Prof. Notni),Grundlagen der Bildverarbeitung und Mustererkennung und Grundlagen der Farbbildverarbeitung

schriftliche Prüfung 60 min, mündliches Prüfungsgespräch nach Vereinbarung

Skripte & Übungsmaterialien (zuletzt aktualisiert 9.07.2020)

Vorlesungen

Die Skripte müssen in der VL durch Kommentare vervollständigt werden.
Kapitel 0: Einführung	SS2020
Kapitel 1:   Ge­schicht­liches, phy­sio­lo­gische und psycho­lo­gische Grund­lagen der Tiefen­wahr­nehmung, 3D-As­pek­te in technisch erfassten Bildern  ergänzendes Material und kommentiertes Vi­deo zu 3D aus Be­we­gung (mon­ok­ula­re 3D-As­pek­te)	SS2020
Kapitel 2:   Technische Grundansätze der optischen 3D-Erfassung, Schwerpunkte der Vorlesung, Anwendungsbeispiele	SS2020
Kapitel 3.1:   Geometrische Transformationen (Isometrien, Affinitäten und Perspektivitäten)	SS2020
Kapitel 3.2:   Projektiver Raum / homogene Koordinaten, Alge­bra­ische Be­schrei­bun­gen kon­kre­ter Ab­bil­dungs­pro­bleme (Zen­tral- und Pa­ral­lel­pro­jek­tion)	SS2020
Kapitel 3.3:   Optische Grundlagen	SS2020
Kapitel 4.1:   Beschreibung und Ka­li­brie­rung von Mess­ka­me­ra­an­ord­nun­gen (Tsai-Kameramodellierung, targetbezogene und szenenbezogene Kalibrierung)	SS2020
Kapitel 4.2:  Kor­respondenz­ana­ly­sen in Mehr­kamera­an­sich­ten (Überblick), An­nah­men und Ein­schrän­kun­gen für die Kor­res­pon­denz­suche (Con­straints), der Epipolar-Constraint	SS2020
Kapitel 4.3:   Verfahren der pixelwertbasierten Korrespondenz­ana­ly­se (lo­kal, glo­bal, semi-glo­bal), Prinzip des merkmalbasierten Vorgehens	SS2020
Kapitel 5.1: Verfahren der aktiven, optisch geometrischen 3D-Datenerfassung: struk­tu­rier­tes Licht & Mus­ter­pro­jek­tion (Grundlagen)	SS2020
Kapitel 5.2: Verfahren der aktiven, optisch geometrischen 3D-Datenerfassung: struk­tu­rier­tes Licht & Mus­ter­pro­jek­tion (Systeme und Systemkalibrierung)	SS2020
Kapitel 6:   Verfahren zur sub­pixel­ge­nauen Be­stim­mung von Strukturorten (photogrammetrische Auswertung von Punkt- und Kantenobjekten)	SS2020
Kapitel 7.1: Monokulare Ansätze zur 3D-Datenerfassung über sekundäre Tiefenmerkmale 1: Shape from Motion (Optischer Fluss), -Shading, -Texture	SS2020
Kapitel 7.2: Monokulare Ansätze zur 3D-Datenerfassung über sekundäre Tiefenmerkmale 2: Auswertung von Fokusserien, Shape from Focus (Verfahren der Fokusvariation)	SS2020
Hinweise zur Prüfungsvorbereitung (laufend aktualisiert)	SS2020

Übungen

Sie finden hier Übungsmaterialien zum ver­tie­fen­den Selbst­stu­dium und zu Bo­nus­auf­gaben. Bitte bearbeiten Sie diese zunächst selbstständig oder in der Gruppe und diskutieren Sie Ihre Lösungsvorschläge bei Bedarf mit mir. Lösungen zu Bonusaufgaben senden Sie bitte bis zum Ende des Vorlesungszeitraums per Mail. Sie können mehrere Lösungsvorschläge einreichen.
Übungsunterlagen/Bonus-Hausaufgabe 1: Vereinbarungen zu Koor­di­na­ten­sys­temen, Win­keln und Strecken, Physio­lo­gie der mensch­lichen Tiefen­wahr­nehmung (Bonusaufgabe 10%), Ho­ro­pter & Pa­num	SS2020
Übungsunterlagen/Bonus-Hausaufgabe 2: Projektive Räume und homo­ge­ne Ko­or­di­na­ten (Bo­nus­auf­ga­be 5%)	SS2020
Übungsunterlagen 3: Tsai-Kamera­mo­dell (+ Musterlösung) / Constraints f. Korrespondenzanalysen	SS2020
Übungsunterlagen 4: Bin­o­ku­la­re An­ord­un­gen, bino­ku­la­re 3D-Re­kon­struk­tion (+ Mus­ter­lö­sun­gen)	SS2020
Praxisübung am 2.7.:  Sys­teme zur flächen­haf­ten 3D-Er­fas­sung und de­ren An­wen­dun­gen in der Qua­li­täts­siche­rung am Fachgebiet Qualitätssicherung und industrielle Bildverarbeitung	SS2020	bitte in Moodle eintragen
Praxisübung am 16.7.:  3D-Daten­er­fas­sung zur Arbeitsraum­über­wa­chung, MRK und Defekterkennung mit ak­ti­ven und pas­si­ven Ver­fahren, Gewin­nung von 3D-Da­ten mit Weiß­licht-Inter­fero­me­trie am ZBS e.V. Ilmenau	SS2020	bitte in Moodle eintragen