Projektstudium an der HFU
Fünf Studierende, zwei Betreuer und die Unterstützung der Vioso GmbH.
Wir haben es uns zur Aufgabe gemacht Projektionen in der "echten" Welt lebendig werden zu lassen - das heißt, wir passen selbst erstellte Animationen an die Geometrie beliebiger Gebäude an.
Projektteil 1
Projection Mapping lebt von einer interessanten Projektionsfläche. Glücklicherweise war diese durch unsere Teilnahme an dem Reservoir Festival für Klang- und Medienkunst gegeben. Das Festival fand am 05.08. an der Linachtalsperre in Vöhrenbach statt und gab uns die Möglichkeit, auf eine imposante Struktur zu projizieren. Dadurch war auch ein enger Zeitraum gegeben, um uns mit neuen Technologien auseinanderzusetzen und eine hoffentlich beeindruckende Show zu kreieren.
Die Linachtalsperre besteht aus 13 aneinandergereihten Bögen.
Jeder Künstler trat innerhalb einer dieser Bögen auf. Nun mussten wir die folgenden Fragen klären: Wie genau nutzen wir diesen Bogen als Leinwand? Was wollen wir den Zuschauern zeigen und wie setzen wir das konkret um?
01
Projektionsfläche
Die Bögen der Talsperre bieten einige mögliche Projektionsflächen für ein Projection Mapping. Nach mehreren Tests entschieden wir uns letztendlich dazu, von innen heraus auf die drei Querbalken des Bogens zu projizieren. Im Gegensatz zu einer einfachen rechteckigen Leinwand boten die Querbalken uns eine geometrisch interessante Struktur, auf der unsere Animationen aufbauen konnten. Andererseits erschwerte die kleine Projektionsfläche auch die Erstellung von aussagekräftigen Animationen, da wir unsere eigenen Vorstellungen mit ihrer komplexen Form vereinen mussten.
02
Vorbereitung
Da wir keine Vorkenntnisse im Projection Mapping hatten, setzten wir uns zunächst mit den Grundsätzen auseinander. Hierfür übten wir zunächst das Projizieren auf selbstgebastelte Papierpyramiden. Jedes Gruppenmitglied erstellte dafür eigene Animationen, die wir ohne komplexe Software auf die Pyramiden projizierten und manuell anpassten. Hier konnten wir lernen, wie man Motive kreiert, die auf komplexen Oberflächen eine beeindruckende Wirkung erzeugen.
In konkreter Vorbereitung auf unsere endgültige Projektionsfläche nutzten wir ein selbst gedrucktes 3D-Modell eines Bogens der Talsperre. So konnten wir uns mit der technischen Seite vertraut machen, indem wir die Projektionssoftware VIOSO 6 für das Mapping auf das Modell nutzten.
03
Umsetzung
Nach diesen technischen Übungen machten wir uns an die finalen Animationen für das Reservoir Festival. Grundlage hierfür waren Ausschnitte aus verschiedenen Musikstücken von Timo Dufner, die wir selbst aussuchen und zusammenschneiden durften.
Für diesen Zusammenschnitt nutzten wir Adobe Audition und für die Animationen Blender, Adobe After Effects und Davinci Resolve. Wir nutzten jede Gelegenheit, um unsere Animationsideen und unseren technischen Workflow an der Talsperre zu testen. Trotz Herausforderungen wie seltenem Zugang zu Strom, späten Sonnenuntergängen und mangelndem Empfang an der Talsperre konnten wir unseren Workflow ausreichend ausarbeiten. So konnten wir ein Ergebnis erreichen, mit dem wir alle zufrieden waren und das sich beim Reservoir Festival sehen lassen konnte.
LINACHTALSPERRE
Reservoir Festival
Das Team
Marit
-
VIOSO 6 - Erarbeiten eines passenden Workflows pro Semester
-
Projektmanagement/ Koordination
-
3D-Druck
-
Animationen (1. Semester)
-
Interaktives → Openpose & Unity (2. Semester)
-
Texte für Webseite verfasst
Benny
-
Animationen (1. und 2. Semester)
-
Concept Proofing der Ideen
-
Ideen Brainstorming beider Animationen
-
Methoden-Recherche
Ethan
-
VIOSO 6 - Erarbeiten eines passenden Workflows pro Semester
-
Projektmanagement/ Koordination
-
Animationen (1. Semester)
-
Interaktives → Openpose & Unity (2. Semester)
-
Texte für Webseite verfasst
Berti
-
Animationen (1. und 2. Semester)
-
Schnitt erste Projektion
-
Vertonung zweite Projektion
-
Konzepterstellung
-
Aufnahme (1. und 2. Projektion)
Natalie
-
Animation (1. und 2. Semester)
-
Zusammenschnitt Musik (1. Semester)
-
Vertonung beider Projektionen
-
Schnitt zweite Projektion
-
Aufnahme (1. und 2. Projektion)
-
Behind The Scenes Dreh und Schnitt
-
Webseite erstellt (+Videos)
Projektteil 2
Im zweiten Semester hatten wir die Möglichkeit, am 04.01. an der Media Night der Fakultät Digitale Medien teilzunehmen. Statt der komplexen Struktur der Talsperre projizierten wir in diesem Semester auf die rechteckige Außenwand des I-Baus. Diese deutlich simplere Projektionsfläche vereinfachte bestimmte Aspekte des Animationsprozesses, war aber an sich eine weniger interessante Struktur. Um das auszugleichen, war unser Ziel, mit unserer Animation eine spannende Geschichte zu erzählen. Wo wir im ersten Projektsemester auf abstrakte Formen vereint mit Techno Musik setzten, wollten wir dieses Mal eine konkrete Geschichte übermitteln, die auch einen Zusammenhang mit dem Gebäude hat, auf das wir projizieren. Darüber hinaus wollten wir den Zuschauern ein interaktives Erlebnis bieten, durch das sie selbst mit einer großen und eindrucksvollen Leinwand interagieren können.
01
Projektionsfläche
Nach den Herausforderungen des ersten Projektsemesters durch die abgelegene Lage der Talsperre lieferte die Fassade des I-Baus den großen Vorteil, dass wir schon während des Semesters regelmäßig unsere Animationen und Projektionen testen konnten. So konnten wir ein tieferes Verständnis für den optimalen Workflow aufbauen und unsere technischen Schwierigkeiten aus dem letzten Semester aufarbeiten.
Die Projektionsfläche bot aber auch ihre Herausforderungen: Durch ihre Größe mussten wir zwei Beamer nutzen, um auf die ganze Fläche projizieren zu können. Diese müssen so kalibriert werden, dass die Projektion einheitlich erscheint und der Übergang zwischen den beiden Projektionen nicht auffällt.
02
Kreativer Prozess für lineare Animation
Passend zu der Media Night und unserer Projektionsfläche handelte es sich in unserer Geschichte um die allseits bekannte Prüfungsphase, die jeder Student auf eigene Art und Weise überstehen muss. Die Handlung folgt der Protagonistin und ihren Bemühungen, das Semester zu überstehen. Stilistisch haben wir uns dazu an 70er bis 80er Jahren Retro-Videospielen orientiert und versucht, alle Elemente unserer Animation mit diesem Stil abzustimmen.
03
Implementierung des interaktiven Spiels
In diesem Semester wollten wir uns außerdem an eine neue Herausforderung wagen. Passend zum Thema der Retro-Videospiele wollten wir unser eigenes Retro-Spiel umsetzen, das mit Körper- und Gestenerkennung gesteuert wird. Dieses sollte ebenfalls über die gesamte Fläche der Außenwand projiziert werden und den Teilnehmern die Gelegenheit geben, zusammen mit Freunden einen alten Klassiker neu zu erleben.
04
Auftritt und alle assoziierten Herausforderungen
Trotz der einfachen Erreichbarkeit der Projektionsfläche war der Aufwand zum Testen erheblich: Jeder Test benötigte ein ausreichend großes Auto als Wetterschutz, eine oder mehrere Kabeltrommeln und mindestens eine Stunde Zeit für Auf- und Abbau. Die größte Herausforderung in diesem Semester stellte allerdings das Wetter dar, insbesondere am Tag der Media Night.
Aufgrund von Orkanböen und starkem Regen war bis kurz vor der geplanten Uhrzeit unklar, ob wir unsere Projektion tatsächlich umsetzen konnten. Letztendlich beruhigte sich das Wetter gegen Abend und wir konnten mit etwas Zeitdruck kalibrieren und unsere Animation zeigen. Nur das interaktive Spiel konnten wir durch den zusätzlichen Aufwand für das Setup nicht präsentieren.
Interaktives
Unser ursprüngliches Ziel war es, mit Hilfe einer einfachen RGB-Webcam markerloses Motion Capture umzusetzen. Dies sollte es Nutzern ermöglichen, die eigenen Bewegungen in Echtzeit in Form eines 3D-Modells an die Wand des I-Baus projiziert zu sehen. Umgesetzt werden sollte dies mit Openpose, einer Bibliothek zur Echtzeit-Erkennung von menschlichen Posen. Aufgrund von Hardware- und zeitlichen Einschränkungen war dies allerdings nicht umsetzbar und wir mussten den Umfang unserer Idee etwas reduzieren.
Passend zur Retro-Videospiel-Thematik haben wir uns dazu entschieden, unseren Wissensstand mit Openpose als Motion Capture Tool mit dem Klassiker Pong zu vereinen. So haben wir in der Unity Game Engine eine 2-Spieler gestengesteuerte Pong Version umgesetzt. Zwei Spieler spielen gegeneinander und steuern jeweils durch das Heben eines Armes einen der Schläger. Auf diese Weise konnten wir auf unser Vorwissen aufbauen und trotz der Herausforderungen ein fertiges Ergebnis erreichen. Wetterbedingt konnten wir dieses Spiel am Tag der Media Night leider nicht zeigen.
Der gesamte Code für das Spiel befindet sich in diesem Github Repository:
FURTWANGEN
Media Night
VIOSO
In unserem ambitionierten Projekt wurden wir nicht nur durch unsere Hochschule und Betreuer unterstützt, sondern auch durch das führende Projection Mapping Unternehmen VIOSO aus Düsseldorf. Mit Hilfe ihrer weltweit gefragter Expertise hatten wir einen entscheidenden Ansprechpartner sowohl für technische als auch kreative Themen.
Zur technischen Umsetzung des Projekts stellte VIOSO uns deren Software VIOSO 6 zur Verfügung. Die Software ermöglicht das Maskieren der gewünschten Projektionsbereiche, um nur auf Teile der Fläche zu projizieren. Dies war insbesondere im ersten Projektsemester an der Talsperre zur Maskierung der Querbalken wichtig. Darüber hinaus vereinfacht sie das Projizieren mit mehreren Projektoren und bietet Funktionen wie Warping und Blending, um unebene Flächen sowie unterschiedliche Helligkeiten verschiedener Projektoren auszugleichen. So kann selbst mit mehreren Projektoren und trotz komplexer Oberflächen eine gleichmäßige und stimmige Projektion erreicht werden.