3DTV
Das Fernsehen der nächsten Generation
Im nachfolgenden Artikel wurde sich mit dem Projekt 3DTV auseinander gesetzt. In diesem wird am Fernsehen der nächsten Generation geforscht. Projektschwerpunkt Ilmenaus ist die freie Blickpunktwahl des Nutzers.
von Michaela Donat, Sophie Lübben und Moritz Wasserek
Stehen Einbrecher in Museen zukünftig nur noch mit leeren Händen da - weil Museen antike Kunstschätze und wertvolle Artefakte nur noch als Hologramm zeigen?
Virtuelle Kamerafahrten durch reale Kameraaufnahmen sind nur der Anfang eines zukünftigen 3D Szenarios in der Videotechnik. Die Displays der Zukunft zaubern virtuelle 3D Landschaften, Menschen werden erstaunt ins Leere greifen - Virtuelles kann von realen Ansichten nicht mehr unterschieden werden.
Der Traum des Menschen ist es seit langem schon, erlebte Eindrücke und Bilder möglichst realistisch für sich aufzubewahren: Vor rund 30.000 Jahren bannten die ersten Menschen einfache Zeichnungen an ihre steinernen Höhlen. Die Malerei, Fotografie und schließlich die Videotechnik verfeinerten diesen Prozess. Jedoch sind das alles einfache zweidimensionale Bildtechniken. Den Durchbruch bei diesem Traum könnte nun eine dreidimensionale Abbildung werden. Eindrücke würden nicht mehr nur als flaches Bild festgehalten, sondern zukünftig als eine visuell reale 3D-Abbildung eingefroren.
Mit dieser Thematik beschäftigt sich im Rahmen eines EU-Förderprojektes des "Network of Excellence" seit drei Jahren ebenfalls die Technische Universität in Ilmenau am Institut für Medientechnik. Dieses Projekt trägt den Namen "3DTV" und befasst sich mit der vollständigen visuellen Verarbeitungskette für ein zukünftiges 3D-Fernsehen. Im Allgemeinen betrifft es die Prozesse der Aufnahme, Datenrepräsentation, Datenübertragung und schließlich die Darstellung auf holografischen oder stereoskopischen Displays.
Die EU subventioniert dieses, um die Zusammenarbeit mit anderen Institutionen europaweit zu fördern. Weniger die ergebnisorientierte Systemerstellung steht im Vordergrund, als vielmehr die Kommunikation und der Austausch mit anderen interessierten internationalen Partnern. Zu diesen gehören vor allem Forschungsinstitute, wie die Bilkent Universität in Ankara (Türkei), Middle Eastern Technology University (METU - Ankara). In Griechenland ist das Informatics and Telematics Institute in Thessaloniki (ITI) beteiligt. Innerhalb Deutschlands gehören neben der TU Ilmenau auch das Fraunhofer Institut in Berlin, die Universitäten in Hannover, Tübingen sowie das Max-Planck-Institut in Saarbrücken zu den involvierten Mitgliedern.
Des Weiteren haben sich Partner aus der freien Wirtschaft für eine Zusammenarbeit mit den jeweiligen Forschungseinrichtungen gefunden. Zu ihnen gehören beispielsweise FogsScreen aus Finnland, sowie die Technische Universität in Tampere, die sich mit der Thematik eines Nebeldisplays auseinandersetzen. In der Türkei fanden eine türkische 3D-Firma namens Momentum mit der Koç Universität in Istanbul zusammen. Aus Großbritannien sind die De Montfort University in Leicester und die University of Aberdeen vertreten, welche sich hauptsächlich mit der Entwicklung von Displays beschäftigen.
Rund 6,5 Millionen Euro investiert die Europäische Union in das bereits seit Ende 2004 bestehende Forschungsprojekt. Die Universität Bilkent in Ankara gilt hierfür als Initiator und erweiterte diese Forschung erst um die teilnehmenden Einrichtungen aus der EU.
- Dipl.-Ing. Christian Weigel
Dipl.-Ing. Christian Weigel (Bild 1), wissenschaftlicher Mitarbeiter am Institut für Medientechnik, ist im Auftrag Professor Brandenburgs einer der heute verantwortlichen Forscher des 3DTV Projektes an der Technischen Universität in Ilmenau und Nachfolger von Marco Rittermann.
Weigel äußert sich zu seinem Aufgabengebiet im Gesamtprojekt wie folgt: "[...] die TU Ilmenau erforscht hauptsächlich die Bereiche der Repräsentation von 3D-Videoobjekten und der bimodalen Wahrnehmung, hier gehören [...] visuelle und auditive Wahrnehmung mit hinein." Neben dem Fachgebiet der Elektronischen Medientechnik arbeitet auch das Fachgebiet Audiovisuelle Technik im Bereich der Segmentierung mit. Allerdings liegt das Augenmerk weniger auf dem Audiobereich.
- Das Aufnahmestudio mit mehreren Kameras für die Forschungsarbeiten am Projekt 3DTV.
Zu Beginn des Projektes vor 3 Jahren standen vor allem die Synthesealgorithmen für die 3D-Videoobjektgenerierung und deren Qualitätsbeurteilung im Vordergrund der Forschungsarbeiten. Seit der Arbeitsaufnahme durch Herrn Weigel konnte der Fokus auf eine neue Systemkonzeption erweitert werden.
Doch was genau steht hinter dem Forschungsansatz für 3D-Videoobjektrepräsentation?
Das klassische "rechteckige" Videosystem kann lediglich vorher akquirierte Bildinformationen speichern und wieder darstellen. Die 3D-Videoobjekterkennung versucht nun, reale Situationen aufzuzeichnen um dem Betrachter nachträglich die freie Wahl der Blickpunktperspektive auf das Videoobjekt zu ermöglichen. Im klassischen Videosignal wäre die Vorraussetzung hierfür nicht gegeben, da räumliche Informationen bei der Aufnahme verloren gehen. Das Signal einer Kamera ist nur zweidimensional. Erst aus dem Zusammenspiel mehrerer Kameras während der Aufzeichnung, können Tiefeninformationen abgeleitet werden (Bild 2).
- Eine sogenannte Tiefenkarte wird durch spezielle Algorithmen aus dem Videosignal der Kameras berechnet.
Zukünftig soll es demnach möglich sein, eine reale Situation aus einem Gerüst von mindestens zwei Kameras in verschiedenen statischen Perspektiven aufzuzeichnen. Diese werden schließlich durch speziell entwickelte Algorithmen miteinander verglichen und sogenannte Tiefenkarten (Bild 3) erzeugt. Diese sind eine Art Grauwertabbildung des errechneten dreidimensionalen Objektes. Hell abgebildete Bereiche liegen hierbei räumlich näher am Betrachter und dunklere Bereiche relativ gesehen im Hintergrund. Dabei muss die Tiefenkarte für jedes einzelne Bild neu generiert werden.
- Virtuelle Kameraperspektiven können mit der entwickelten Technik schon jetzt erzeugt werden.
Detailliert sieht dieser Prozess wie folgt aus: Zunächst werden die Kameraparameter bestimmt. Dies kann zum einen von der jeweiligen Kamera abgelesen oder nachträglich durch Bildanalyseverfahren ermittelt werden. Benötigt werden unter anderem die Farbinformationen, die geometrische Lage der Kameras, der Abstand der Pixel zueinander und hieraus abgeleitet deren Tiefe im Raum. Hierfür sucht man sich klar definierte, übereinstimmende Punkte in den Bildern, so genannte Features, durch die man die geometrischen Beziehungen der Kameras errechnen kann. Im nächsten Schritt wird mit diesen Informationen und einem Suchalgorithmus die Verschiebung aller Pixel zwischen den zeitlich synchronen Kamerabildern ermittelt. Diesen Versatz nennt man Disparität, welche zudem proportional zur Tiefe ist. Je weiter ein Objekt von der Kamera entfernt ist, desto kleiner wird der Versatz der Pixel zueinander. Verdeutlicht werden kann dies an der Frontalaufnahme eines Gesichtes: Die Disparität an der Nase ist größer als an den Wangen, an den Ohren ist sie am kleinsten. Auf Basis der errechneten Tiefe ist es möglich, Pixel des Gesichts an eine beliebige Position im Raum zu verschieben und somit ein neues Kamerabild zu erschaffen, ohne dass eine reale Kamera die perspektivischen Informationen im Vorhinein aufgenommen haben muß.
Christian Weigel stellt speziell an seine Forschung den Anspruch, die Verarbeitung und Generierung des geschilderten Sachverhaltes in Echtzeit zu lösen, sowie die Algorithmen in ihrer Funktionsweise zu optimieren. Ein gegenwärtiges Problem stellt hier die Verarbeitung der riesigen Datenmengen der jeweiligen Kameras dar. Es zeigte sich, dass die CPU nicht die geforderte/gewünschte Leistung erbringen kann und somit die Grafikkarten zweckentfremdet werden müssen, um mehr Rechenkapazität zu gewinnen. Deren Prozessoren werden stetig weiterentwickelt und erzielen immer höhere Leistungen. Vorhandene Ressourcen müssen demnach optimal für die Berechnung ausgeschöpft oder letztlich noch erweitert werden.
Die Einsatzmöglichkeiten von 3DTV erstrecken sich allerdings weniger im Bereich der Spielfilme, als vielmehr bei interaktiven Medien wie zum Beispiel Videospielen. Christian Weigel könnte sich als Nischenbereich vorstellen, dass Versandanbieter im Internet diese Anwendungen nutzen. So gibt es bereits Versuche, Kleidungsstücke dreidimensional und in einer 360° Ansicht darzustellen: "Das ist eine Applikation, die ich mir bei OTTO-Online vorstellen könnte [...]".
Ein lang gepflegter Wunsch der Menschheit, die Vergangenheit und Gegenwart einzufrieren, rückt durch das Forschungsprojekt 3DTV ein kleines Stück näher in die Realität. Die Forschungsarbeiten werden auch nach Projektende im August 2008 noch weitergehen müssen.