http://www.tu-ilmenau.de

Logo TU Ilmenau


Ansprechpartner

Univ.-Prof. Dr. rer. nat. Gunther Notni

Fachgebietsleiter

Telefon 03677 69-3820

E-Mail senden

Ihre Position

INHALTE

Grundlagen der 3D-Bildverarbeitung: Erfassung und Verarbeitung von 3D-Daten

Sommersemester 2020

Zielgruppen: Master-Studenten der IA. Master-Studenten der Fakultäten EI, MB in Modulen zur Bildverarbeitung, 3D-Vision, Technischen Erkennung oder Optronik.

Aktuelles im Sommersemester 2020

  1. pdf-Dokument  Hier finden Sie einen Überblick zur Vorlesung und den geplanten Inhalten im Sommersemester 2020.

  2. Falls Sie Interesse an der Vorlesung haben, schreiben Sie sich bitte im moodle dafür ein!
    Das Einschreibepasswort erhalten Sie auf Anfrage per eMail an rico.nestler@tu-ilmenau.de.


  3. Über Moodle erhalten Sie weitere Informationen zu den technischen Vorraussetzungen für online-Vorlesungen ab 20.04. (Cisco Webex) .

Voraussetzungen

gute Kenntnisse in Physik, Mathematik aber auch Informations- bzw. Nachrichtentechnik (Vorlesungen zu Systemtheorie, Signalen & Systemen), hilfreich: Systemtechnik und Systemtheorie der Bildverarbeitung (Prof. Notni), Grundlagen der Bildverarbeitung und Mustererkennung (Bildverarbeitung 1), Grundlagen der Farbbildverarbeitung (Bildverarbeitung 2)

Umfang

  • 2 SWS Vorlesung, 1 SWS Übung

Termine

Termine (SoSe 20, Stand 2.7.): 

  • Vorlesung
    (Online): ab 22.4. Mittwochs, 13:00-14:30 Uhr, Cisco Webex Die Einladungen werden per Mail verschickt!
    Bitte schreiben Sie sich dafür bei Moodle ein!
    Ergänzungstermin am 25.6., 16:45-18:15 Uhr, Cisco Webex
    Die Einladung wird per Mail verschickt!
  • Übung
    (
    Präsenz je nach aktueller Lage): ab 7.5. Donnerstags (U), 11:00-12.30 Uhr, Sr HU 129 oder Cisco Webex
    Im Sommersemester 2020 werden aufgrund der aktuellen Situation weniger rechnerische Übungen durchgeführt.
    Zu einigen Übungs­ter­mi­nen finden Vorlesungen statt. Die Festlegung erfolgt in der Vorlesung.

  • Klausur
    24.8.2020, 11:00-12:00 Uhr, Hu-Hs

Überblick

Die Veranstaltung Erfassung und Verarbeitung von 3D-Daten (3D-Bildverarbeitung) widmet sich technischen Ansätzen zur Gewinnung von Tiefeninformationen, den dabei erforderlichen Datenverarbeitungsaspekten. Der Schwerpunkt liegt auf optischen Ansätzen zur 3D-Datenerfassung, den zugehörigen systemtechnischen Realisierungen, den notwendigen theoretischen Grundlagen sowie Methoden / Verfahren der (Bild)Datenverarbeitung. 

Mögliche Anwendungsgebiete dieser Techniken sind heutzutage sehr vielfältig und weit verbreitet, z.B. computergrafische Modellierungen dreidimensionaler Objekte (Reverse Engineering), Abstandsmessungen in selbstfahrenden Fahrzeugen oder zur Fahrerassistenz, Oberflächeninspektionen oder Prüfungen auf Maßhaltigkeit in der Qualitätssicherung, Lageschätzungen oder Hindernislokalisierung in der Robotik bzw. der Sicherheitstechnik. Verfahren zur Gestaltsrekonstruktion beinhalten in starkem Maße Elemente und Techniken der klassischen Bildverarbeitung. Genauso sind zur Erfüllung von Erkennungsaufgaben mit monokularer Bildverarbeitung heutzutage zunehmend 3D-Aspekte zu berücksichtigen.

Die Verarbeitungsaspekte zur Gewinnung der 3D-Information werden in der Vorlesung ansatzbezogen diskutiert. Die ausführliche Darstellung des klassischen Verfahrens der Stereo- und Multikamera-Vision wird durch aktuelle Ansätze, wie die Weißlichtinterferometrie, die Fokusvariation oder das Time of Flight-Prinzip ergänzt. Die Veranstaltung schließt im Grundlagenteil wichtige systemtechnische, optische und geometrische Gesetzmäßigkeiten von Bildaufnahmeprozessen sowie Grundzüge der projektiven Geometrie ein.

Der Studierende erhält einen umfassenden Überblick zu Verfahren der Rekonstruktion von Objektoberflächen oder zur Abstandsanalyse ausgewählter Szenen-/Objektpunkte in dreidimensionalen Szenen. Dabei werden die theoretischen Grundlagen, die systemtechnischen Aspekte und die Methoden / Verfahren zur Ableitung räumlich, geometrischer Szeneninformationen aus digitalen Bildern diskutiert.

Aufbauend auf den vermittelten Inhalten ist der Studierende befähigt, sein Wissen in konkreten Anwendungen in einem der oben genannten Felder einzusetzen bzw. kann dieses im Rahmen weiterer Vorlesungen zur angewandten Bildverarbeitung, z.B.

  • Systemtechnik und Systemtheorie der Bildverarbeitung (Prof. Notni), 

sowie zur bildbasierten Mustererkennung / künstlichen Intelligenz weiter auszubauen und spezialisieren.

Die Veranstaltung ist begleitet von Übungen bzw. Exkursionen, in denen Vorlesungsinhalte nachbereitet und vertieft diskutiert werden.

Vorlesungsinhalte

  • Einleitung
    • Historische und wahrnehmungsphysiologische Aspekte der 3D-Erfassung
    • Überblick zu technischen Grundansätzen zur optischen 3D-Erfassung
  • Grundlagen
    • Algebraische Beschreibung von geometrischen Transformationen, Abbildungen und Messanordnungen
    • Optische Grundlagen
  • Binokularer / multiokularer inkohärent optischer Ansatz zur 3D-Erfassung
    • Primärdatenaufbereitung
    • Tsai-Modellierung von Messkameras
    • Polynokulare Messanordnungen und -systemkalibrierung
    • 3D-Bildverarbeitung
      • Korrespondenzsuche in Bildern: Constraints und Algorithmen
      • Verfahren zum subpixelgenauen Erfassen von Strukturorten
    • Musterprojektion und strukturiertes Licht
    • Anwendungen
  • 3D über monokular erfasste Tiefenmerkmale / 3D-Aspekte der Bildverarbeitung
    • Depth from -Motion, -Shading, -Texture, -Fokus: Prinzipien und Randbedingungen der praktischen Anwendung
  • Praxisrelevante weitere Ansätze zur 3D-Erfassung

Literatur

  • R. Hartley, A. Zisserman: Multiple View Geometry in computer vision. Cambridge University Press, 2010, ISBN 987-0-521-54051-3
  • G. Hauske, Systemtheorie der visuellen Wahrnehmung. Shaker Verlag 2003, ISBN 978-3832212933
  • R. Klette, A. Koschan, K. Schlüns: Computer Vision – Räumliche Information aus digitalen Bildern. Vieweg Verlag, Braunschweig/Wiesbaden, 1996, ISBN 3-528-06625-3
  • W. Richter: Grundlagen der Technischen Optik, Vorlesungsskripte, Technische Universität Ilmenau, Institut für Lichttechnik und Technische Optik, Fachgebiet Technische Optik
  • R. Zhang et.al.: Shape from Shading: A Survey. IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, Vol. 21, Nr. 8, S. 690-706, 1999
  • O. Schreer: Stereoanalyse und Bildsynthese, Springer, 2005, ISBN 3-540-23439-X
  • Middlebury Stereo Vision Page:Taxonomy and comparison of many two-frame stereo correspondence algorithms. http://vision.middlebury.edu/stereo/
  • sowie die Vorlesungsunterlagen zu den Fächern Systemtechnik und Systemtheorie der Bildverarbeitung (Prof. Notni),Grundlagen der Bildverarbeitung und Mustererkennung und Grundlagen der Farbbildverarbeitung

Abschluss

schriftliche Prüfung 60 min, mündliches Prüfungsgespräch nach Vereinbarung

Unterlagen

Skripte & Übungsmaterialien (zuletzt aktualisiert 9.07.2020)

Vorlesungen

  Die Skripte müssen in der VL durch Kommentare vervollständigt werden.
Kapitel 0: Einführung                                                 SS2020 pdf-Dokument
Kapitel 1:   Ge­schicht­liches, phy­sio­lo­gische und psycho­lo­gische Grund­lagen der Tiefen­wahr­nehmung, 3D-As­pek­te in technisch erfassten Bildern 

zip-Archiv ergänzendes Material und kommentiertes Vi­deo zu 3D aus Be­we­gung (mon­ok­ula­re 3D-As­pek­te)

SS2020 pdf-Dokument
Kapitel 2:   Technische Grundansätze der optischen 3D-Erfassung, Schwerpunkte der Vorlesung, Anwendungsbeispiele SS2020 pdf-Dokument
Kapitel 3.1:   Geometrische Transformationen (Isometrien, Affinitäten und Perspektivitäten) SS2020 pdf-Dokument
Kapitel 3.2:   Projektiver Raum / homogene Koordinaten, Alge­bra­ische Be­schrei­bun­gen kon­kre­ter Ab­bil­dungs­pro­bleme (Zen­tral- und Pa­ral­lel­pro­jek­tion) SS2020 pdf-Dokument
Kapitel 3.3:   Optische Grundlagen SS2020 pdf-Dokument
Kapitel 4.1:   Beschreibung und Ka­li­brie­rung von Mess­ka­me­ra­an­ord­nun­gen (Tsai-Kameramodellierung, targetbezogene und szenenbezogene Kalibrierung) SS2020 pdf-Dokument
Kapitel 4.2:  Kor­respondenz­ana­ly­sen in Mehr­kamera­an­sich­ten (Überblick), An­nah­men und Ein­schrän­kun­gen für die Kor­res­pon­denz­suche (Con­straints), der Epipolar-Constraint SS2020 pdf-Dokument

Kapitel 4.3:   Verfahren der pixelwertbasierten Korrespondenz­ana­ly­se (lo­kal, glo­bal, semi-glo­bal), Prinzip des merkmalbasierten Vorgehens

SS2020 pdf-Dokument
Kapitel 5.1: Verfahren der aktiven, optisch geometrischen 3D-Datenerfassung: struk­tu­rier­tes Licht & Mus­ter­pro­jek­tion (Grundlagen) SS2020 pdf-Dokument
Kapitel 5.2: Verfahren der aktiven, optisch geometrischen 3D-Datenerfassung: struk­tu­rier­tes Licht & Mus­ter­pro­jek­tion (Systeme und Systemkalibrierung) SS2020 pdf-Dokument
Kapitel 6:   Verfahren zur sub­pixel­ge­nauen Be­stim­mung von Strukturorten (photogrammetrische Auswertung von Punkt- und Kantenobjekten) SS2020 pdf-Dokument
Kapitel 7.1: Monokulare Ansätze zur 3D-Datenerfassung über sekundäre Tiefenmerkmale 1: Shape from Motion (Optischer Fluss), -Shading, -Texture SS2020 pdf-Dokument
Kapitel 7.2: Monokulare Ansätze zur 3D-Datenerfassung über sekundäre Tiefenmerkmale 2: Auswertung von Fokusserien, Shape from Focus (Verfahren der Fokusvariation) SS2020 pdf-Dokument

Hinweise zur Prüfungsvorbereitung (laufend aktualisiert)

SS2020 pdf-Dokument

Übungen


Im Sommersemester 2020 werden rechnerische Übungen als Prä­senz­ver­an­stal­tungen nur bei Vorliegen geeigneter Bedingungen durchgeführt. Zu einigen Übungs­ter­mi­nen fin­den Vor­le­sun­gen statt. Am Ende des Vorlesungs­zeit­raumes sind 2 Ex­kur­sions­übun­gen geplant.

  Sie finden hier Übungsmaterialien zum ver­tie­fen­den Selbst­stu­dium und zu Bo­nus­auf­gaben. Bitte bearbeiten Sie diese zunächst selbstständig oder in der Gruppe und diskutieren Sie Ihre Lösungsvorschläge bei Bedarf mit mir. Lösungen zu Bonusaufgaben senden Sie bitte bis zum Ende des Vorlesungszeitraums per Mail. Sie können mehrere Lösungsvorschläge einreichen. 

Übungsunterlagen/Bonus-Hausaufgabe 1: Vereinbarungen zu Koor­di­na­ten­sys­temen, Win­keln und Strecken, Physio­lo­gie der mensch­lichen Tiefen­wahr­nehmung (Bonusaufgabe 10%), Ho­ro­pter & Pa­num

SS2020

pdf-Dokument

Übungsunterlagen/Bonus-Hausaufgabe 2: Projektive Räume und homo­ge­ne Ko­or­di­na­ten (Bo­nus­auf­ga­be 5%)

SS2020

pdf-Dokument

Übungsunterlagen 3: Tsai-Kamera­mo­dell (+ Musterlösung) / Constraints f. Korrespondenzanalysen

SS2020

pdf-Dokument

Übungsunterlagen 4: Bin­o­ku­la­re An­ord­un­gen, bino­ku­la­re 3D-Re­kon­struk­tion (+ Mus­ter­lö­sun­gen)

SS2020

pdf-Dokument

Praxisübung am 2.7.: 

Sys­teme zur flächen­haf­ten 3D-Er­fas­sung und de­ren An­wen­dun­gen in der Qua­li­täts­siche­rung am Fachgebiet Qualitätssicherung und industrielle Bildverarbeitung

SS2020bitte in Moodle eintragen

Praxisübung am 16.7.: 

3D-Daten­er­fas­sung zur Arbeitsraum­über­wa­chung, MRK und Defekterkennung mit ak­ti­ven und pas­si­ven Ver­fahren, Gewin­nung von 3D-Da­ten mit Weiß­licht-Inter­fero­me­trie am ZBS e.V. Ilmenau

SS2020bitte in Moodle eintragen