Knarzende Türen, knackende Schalter und ein klingelnder Maschinentelegraf: Auf dem Hochseebergungsschlepper SEEFALKE, einem Museumsschiff des Deutschen Schifffahrtsmuseums DSM Bremerhaven, waren kürzlich ungewohnte Klänge und Geräusche zu hören. Grund für das besondere „Konzert“ war ein Semesterprojekt von Studierenden der TU Ilmenau. Ziel ihrer Mission: eine audiovisuelle Rekonstruktion von Schiffsbrücke und Kartenraum in der Virtuellen Realität (VR).
Wie kann man die Historizität von Klängen und Geräuschen in ein museales Narrativ integrieren? Welche Rolle spielt die Akustik bei der Wissensvermittlung in einem Museum in Verbindung mit der Bewegung der Besucherinnen und Besucher im Spannungsfeld des Analogen und Digitalen? Mit diesen Fragen beschäftigt sich das Projekt „Historische Klänge“ am Fachgebiet Elektronische Medientechnik der TU Ilmenau. Mit dabei sind auch vier Studierende der Medientechnologie. Ende Februar waren sie an Bord des Museumsschleppschiffs SEEFALKE in Bremerhaven unterwegs, um die Räume des Schiffs in einer audiovisuellen VR-Umgebung zu rekonstruieren und mit historischen Klängen zu versehen.
„Das sinnliche Erleben spielt eine zentrale Rolle bei der musealen Vermittlung“, erklärt Fachgebietsleiter Dr. Stephan Werner. Im Rahmen eines Semesterprojekts möchte er gemeinsam mit den Studierenden den Zusammenhang zwischen Raumakustik, Raumempfinden und Wissensvermittlung mit Hilfe moderner VR-Technologie untersuchen. Zwei Tage lang war das Team aus Mitarbeitenden und Studierenden an Bord der SEEFALKE aktiv, um audiovisuelle Aufnahmen von den Innenräumen des Hochseeschleppers anzufertigen und diese später positionsdynamisch in einer VR-Umgebung wiederzugeben. Dabei arbeiten die jungen Wissenschaftler eng mit Kognitionspsychologen des Leibniz-Instituts für Wissensmedien und dem Deutschen Schifffahrtsmuseum zusammen.
Mit an Bord war Paul Popp, Master-Student der Medientechnologie: „Aufgabe unseres Medienprojekts ist es, die Brücke des Museumsschiffs in Bremerhaven mit einem 3D-Scanner einzuscannen und mit einem speziellen Mikrofon-Array die Akustik der Räume auf dem Schiff einzufangen. Am Ende sollen beide Teile zusammengefügt und die SEEFALKE dadurch authentisch in der virtuellen Realität erlebbar werden.“
Bereits in seinem Bachelor-Studium konnten Paul und seine Mitstudierenden Kay Strama, Johannes Fried und Maurice Teuber mehrere Praxisprojekte bearbeiten: „Zum Beispiel das Raspberry Pi-Projekt, bei dem wir einen Arcade Spieleautomaten gebaut gebaute haben. Besonders toll an solchen Projekten ist das Gefühl, am Ende ein funktionierendes Ergebnis zu haben, auch wenn zwischendurch ein paar Stolpersteine auf dem Weg waren. Bei unserem aktuellen Projekt ist es natürlich supercool, in eine andere Stadt zu reisen und dort am Projekt zu arbeiten.“
VR-Anwendung mit authentischer historischer Klangkulisse
„Zuerst haben wir mit unserem 3D-Handscanner die Brücke und den Kartenraum der Seefalke aufgenommen“, erklärt Paul. „Dabei mussten wir besonders auf kompliziertere Objekte wie zum Beispiel das Steuerrad achten.“ Außerdem platzierten die Studierenden an 13 verschiedenen Stellen Lautsprecher an Bord, um mit einem speziellen Mikrofon an 15 Hörpositionen die Raumakustik von Brücke und Kartenraum einzufangen. „Mit einem ganz normalen Mikrofon haben wir dann noch alle möglichen Geräusche aufgenommen wie zum Beispiel das Klacken von Schaltern oder Zufallen der Türen.“
Im nächsten Schritt müssen die Studierenden das Material sichten und nachbearbeiten: „Beispielsweise müssen beim 3D-Scan Löcher per Hand gefüllt werden, die der Scanner nicht richtig registriert hat“, so Paul. Aus den Akustikmessungen generieren die Nachwuchswissenschaftler dann mit der sogenannten „Spatial Decomposition Method“ Filter: „Sodass es mit Kopfhörern so klingt, als wären wir wirklich vor Ort. Außerdem müssen wir noch weitere Filter simulieren, damit sich die Akustik beim Öffnen bzw. Schließen von Türen und Fenstern verändert.“
Am neuen Ilmenau Interactive Immersive Technologies Center (I3TC) der TU Ilmenau, das der ganzheitlichen Erforschung von Technologien und Anwendungen immersiver Medien – Virtual Reality (VR) und Augmented Reality (AR), aber auch räumliches Audio und immersive Videoformate – sowie deren Nutzung und Evaluation dient, haben die Studierenden eine hervorragende Ausstattung dafür. Ziel ihres Medienprojekts ist es, eine VR-Anwendung zu bauen, mit der man sich mit VR-Brille durch die SEEFALKE bewegen, mit Objekten interagieren und zusätzlich die authentische historische Klangkulisse des Hochseeschleppers hören kann. Anhand dessen wird das Leibnitz Institut für Wissensmedien Tübingen im Rahmen einer empirischen Studie untersuchen, ob der Transfer von Informationen über das Schiff durch authentische Klänge und Geräusche besser gelingt.
„Es hat sehr viel Spaß gemacht, nach viel Planung die SEEFALKE in echt zu erleben“, erzählt Paul: „Vor Ort war alles doch nochmal etwas kleiner als gedacht, und der Nieselregen hat uns mit der ganzen Technik etwas herausgefordert. Insgesamt war es aber ein wirklich tolles Erlebnis, so etwas als Student machen zu dürfen.“
Dr. Stephan Werner
Fachgebietsleiter (komm.) Elektronische Medientechnik