VR Headset

Immersionsforschung in Kiel: Vom Orchideenfach zum Vorreiter eines neuen Forschungszweiges

Im Labor für Immersionsforschung (LINK) wird sowohl die Virtuelle Realität (VR) als auch Augmented Reality (AR, Erweiterte Realität) erforscht. Prof. Dr. Patrick Rupert-Kruse ist ein begeisterter Immersionsforscher, wie unsere Autorin Jill-Tatjana Gibson schnell feststellt. Er ist seit 2014 Professor an der FH Kiel und hat davor als Lehrbeauftragter das Labor mit aufgebaut.

Das Interview führte Jill Tatjana Gibson

Wie sehr hat sich der Studiengang Multimedia Production durch die technologische Entwicklung gewandelt?

Rupert-Kruse: Ich würde sagen sehr. Alles begann mit der Oculus Rift, die es zum ersten Mal möglich gemacht hat, sich mit einer Brille in einem 360 Grad Film zu bewegen. Als wir 2011 das Labor aufgebaut haben, haben wir uns die erste Developerversion dieser Brille geholt, um die neue Technologie zu testen.

Wie sind Sie da herangegangen?

Rupert-Kruse: Zuerst haben wir den klassischen Content getestet, also alles, was es schon gab. Zum Beispiel die Achterbahnfahrt. Wir wollten wissen, wie diese virtuelle Realität auf den Menschen wirkt, wenn er komplett, d.h., im Geschehen ist. Das Spannende dabei ist, dass die Menschen stark körperlich reagieren – ähnliche Phänomene konnten wir ja schon bei Achterbahnfahrten im Mediendom beobachten. Markus Schack (ebenfalls FH Kiel, Anm. der Red.) hat dort das berühmte Möbiusband programmiert, von dem ich ein riesen Fan bin. Denn obwohl es nicht mit realistischer Grafik programmiert ist, wird einem schlecht, wenn man über dieses Möbiusband fliegt. Und so etwas konnten wir 2012 dann auch mit der Oculus Rift erleben. Davor war das mit dieser Technologie eben nicht möglich: Wir hatten ein Jahr vor der Oculus Rift ein anderes Headmonted-Display, das aber nur wenig immersiv war, weil man in der Entfernung nur einen kleinen rechteckigen Bildschirm sah. Erst mit der Oculus Rift wurden diese Brillen richtig interessant.

Labor für Immersionsforschung an der FH Kiel

Also haben Sie die gesamte Entwicklung mit erforscht?

Rupert-Kruse: Genau. Wir hatten 2012 das erste Headset und dann hat die technische Entwicklung unglaublich große Sprünge gemacht. Wir waren quasi direkt dabei, als eine neue Technologie geboren wurde. Vorher war die Immersionsforschung noch sehr theoretisch, weil Virtual Reality nur von einer kleinen Gruppe Menschen erlebt werden konnte. Fulldome-Projektionen wie die im Mediendom gibt es in Deutschland nicht sehr viele, da war man dann eher ein Sonderling, wenn man sich mit solchen Phänomenen beschäftigt hat. Erst seit VR-Brillen aufgetaucht sind, ist auch Immersion zu einem allgemein bekannten Schlagwort geworden. Und auf einmal waren wir nicht mehr die Leute, die sich mit einem Orchideenfach beschäftigt haben, sondern diejenigen, die aktueller denn je waren. Um das nochmal zu verdeutlichen: Erst seit 2014 ist Immersion ein Begriff in den Handbüchern der Medien- und Rezeptionsforschung, vorher gab es ihn dort nicht.

Also hat das jetzt richtig an Fahrt gewonnen.

Rupert-Kruse: Ja, es ist ein super spannendes Thema und alle reden darüber. Trotzdem muss man auch sagen, dass VR noch nicht im Mainstream angekommen ist. Die Prognosen, wo es irgendwann hingehen wird, sind unterschiedlich. Technologie entwickelt sich ja häufig exponentiell, d.h. in den ersten Jahren gibt es kaum Veränderungen und dann geht es steil nach oben. Wir sind auf jeden Fall noch am Anfang und das Thema ist noch lange nicht tot. Was sich aber für uns hier verändert hat ist, dass wir anders damit umgehen können, weil die Leute jetzt wissen, wovon wir sprechen. Und wir können viel ausprobieren, da es eine unglaubliche Auswahl an Headsets gibt.

AR-Anwendung, die Bilder zum Sprechen bringt

Ist die Immersionsforschung demnach erst ab 2012 ein Teil von Multimedia Production geworden?

Rupert-Kruse: Früher haben alle Studierenden alles gemacht. Es gab die audiovisuellen Medien und die interaktiven Medien und alle haben auch mit dem Mediendom und mit 3D-Produktionen gearbeitet. Später wurde das dann aufgesplittet. Seit 2014 haben wir mehr VR und AR in das Fach integriert, weil die Technik erstmal da sein musste, damit wir damit arbeiten können. Wir machen im interaktiven Schwerpunkt viel mit Smartphones, wo diese Technik ja schon Gang und Gäbe ist, achten jedoch auch darauf, dass die Studierenden mit den Headsets arbeiten, um dafür Content zu generieren.

Wir repräsentieren das Labor für Immersionsforschung nämlich auch auf Messen und möchten dort natürlich zeigen, dass unsere Studierenden mit den neuen Technologien umgehen können und sich damit auseinandersetzen. Außerdem ist ein Smartphone nicht das Gleiche wie eine VR-Brille. Es macht ein Unterschied, ob ich auf dem Smartphone einen Knopf auf dem Display drücke, oder in der virtuellen Realität mit den Händen nach Objekten greife. Im einen Fall operiere ich auf einer Oberfläche, im anderem im Raum selbst. Ich kann in der digitalen Welt zu einer Wand gehen, einen virtuellen Gegenstand nehmen und ihn woanders hinbringen. Das funktioniert zum Beispiel über Touchcontroller, die in der virtuellen Welt meine Hände repräsentieren. In der echten Welt sind wir es ja gewohnt umherzugehen und Dinge in die Hand zu nehmen. Der Computer hat uns dann dazu gebracht, auf einer Oberfläche zu operieren – das ist die berühmte Desktop-Metapher – und jetzt gehen wir einen Schritt weiter, indem wir mit dem Computer im Raum interagieren. Das muss man erstmal lernen, sowohl als Designer als auch als Nutzer.

Hätten Sie gedacht, dass so eine Entwicklung jemals möglich ist?

Rupert-Kruse: Tatsächlich gibt es Visionen aus den 50er und 60er Jahren, vor allem in der SciFi-Literatur und im Film. Ich liebe SciFi, weil da schon früh ganz vieles möglich war. Aber auch in der Realität gab es in den 90ern auch schon Datenhandschuhe mit Vibration und Tracking. Daher war die Entwicklung u.a. in diesem Bereich schon abzusehen.

Ich habe mich allerdings diesbezüglich lange nur mit Prototypen und Konzeptstudien auseinandergesetzt, da solche Interfaces keine Massenwarewaren. Es gibt inzwischen allerdings viele Firmen, die taktile Handschuhe und sogar Anzüge auf den Markt gebracht haben, die dafür sorgen, dass man in der virtuellen Welt das Gefühl hat, wirklich etwas anzufassen. Einige arbeiten mit Vibrationen, andere sprechen einzelne Sensorfelder auf der Haut an. Es gibt Ganzkörperanzüge, die mit Elektrostimulation funktionieren und auch in der Lage sind, meinen Körper in bestimmte Positionen zu zwingen. Die können mir zum Beispiel beibringen, wie man Tennis spielt, eben durch die gezielten Stromimpulse. Oder wenn ich in der virtuellen Welt durch Wasser gehen soll, hilft der Anzug diese Schwere in der Bewegung zu simulieren. Das hilft uns, uns mehr dem anzunähern, was wir dann in der virtuellen Welt sehen.

In welche Richtung wird die Entwicklung gehen?

Rupert-Kruse: Ich wünsche mir natürlich eher eine künstlerische Richtung. Aber dafür muss man dem Zuschauer einen Zugang geben, also etwas für den Heimgebrauch oder etwas Kinoartiges. Das Kinoerlebnis ist ein soziales Erlebnis und VR ist immer ein sehr individuelles, subjektives Erlebnis, weil man eben abgeschnitten ist von allem. Daher weiß ich nicht, wie es sich da entwickeln wird.

Wir werden in der Lehre natürlich auch weiterhin künstlerische Inhalte haben, aber im Moment konzentrieren sich StartUps mehr auf die Industrie.

Wie wendet man in der Industrie VR/AR-Techniken an?

Rupert-Kruse: In der Industrie wird es vor allem in der Fertigung genutzt – hier wird auch viel AR angewendet. Lernen und Training sind ebenfalls wichtige Punkte. Man trainiert damit medizinische Operationen an Menschen und bildet Leute bei der Feuerwehr oder auf Schiffen aus. Man kann auch Bewegungen lernen, wie schon erwähnt. Archäologen machen Feldtraining mit VR. Anstatt nach Griechenland zu fahren, sieht man sich den Ort virtuell an und kann so darstellen, wie es dort früher ausgesehen hat. Momentan werden aber natürlich noch viele andere Anwendungsfelder gesucht bzw. erforscht.

Und wie kann man das künstlerisch umsetzen?

Rupert-Kruse: Ich wünsche mir eine Beschäftigung damit, wie man sich in VR filmisch ausdrücken kann, zum Beispiel, wie dort erzählt wird. In der Avantgarde-Kunst setzt man sich heute schon mehr mit dem Medium auseinander und reflektiert, wie es funktioniert und was man damit machen kann. Aber das ist eher ein reflexiver Prozess. Interessant ist für mich vor allem, wie man Filme in 360 Grad richtig produziert und in diesem Medium vernünftig erzählt. Heute ist es noch oft so, dass man die Brille aufsetzt und dann anwesend ist in einer medial vermittelten Welt. Aber das ist noch kein Erzählen, auch wenn einem das Einige so verkaufen wollen.

360 Grad Inszenierung brauchen auch 360 Grad Sound

Viele Menschen haben gegen solche Technologien Vorbehalte bzw. sie haben Angst davor, dass sie etwas ersetzen könnten.

Rupert-Kruse: VR und AR können Sachen vereinfachen, sie können viel Geld sparen, aber im Zentrum steht immer noch der Mensch. Natürlich spielt auch die Entwicklung der Künstlichen Intelligenz (KI) eine Rolle. Wenn man in einer VR-Umgebung herumläuft, trifft man auf Charaktere, die mit KI laufen. Im AR brauche ich ein System, dass kontextabhängig Informationen abrufen kann. Aber eine KI ist auch nicht so intelligent, wie man sich das vorstellt. Sie kann mir einen Tisch reservieren, aber sie weiß nicht, was ein Tisch ist und sie weiß auch nicht was Essen bedeutet, weil sie dieses Konzept nicht hat und auch nicht braucht. Aber es ist schwierig momentan Prognosen zu stellen, wie sich das entwickeln wird. Jedes neue Medium bringt Hoffnungen und Ängste mit sich – das war schon immer so. Die Telegrafie zum Beispiel sollte die ganze Welt als denkendes Gehirn zusammenbringen. Doch eine Vernetzung gab es letztendlich erst später durch das Internet. Selbst das Internet ist nicht so, wie das Internet ursprünglich sein sollte, weil sich Technologie immer erst durch die konkrete Nutzung formt.

In Bezug auf neue Technologien gibt es immer Utopien und Dystopien, die damit in Verbindung gebracht werden. Ich denke nicht, dass wir irgendwann alle unser Bewusstsein auf einen Computer hochladen und nur noch als Avatare herumlaufen. Man muss diese Ängste dennoch ernst nehmen, aber auch im Auge behalten, was man mit neuer Technologie Gutes schaffen kann.

AR als Erweiterung der Realität

Aber verschwinden viele technischen Errungenschaften nicht auch wieder schnell?

Rupert-Kruse: Bei der Forschung geht es uns vor allem darum, Prinzipien herauszuarbeiten. Es geht nicht um den Inhalt oder die spezifische Technologie, sondern um die Struktur etwa von AR und VR, wie beispielsweise die Entwicklung der Interaktionsparadigmen mit dem Interface bzw. der Technologie.

Wir konnten uns eine Welt mit dem Smartphone vor 2007 nicht vorstellen. Auf einmal war es dann aber da und plötzlich ist es so wichtig für viele Menschen. Ich fand es hier persönlich sehr spannend, wie der Wechsel vom normalen Telefon zum Smartphone auch mich verändert hat. Ich wollte es gar nicht mehr loslassen. Und dann kam auch noch der Fingerprintsensor hinzu, und nun muss ich nur noch einmal Tippen, das Display leuchtet auf und alles ist bereit.

Das geht jetzt auch noch weiter, mit der Gesichtserkennung.

Rupert-Kruse: Mit solchen Kameratechnologien habe ich mich in Bezug auf AR auch beschäftigt. Es ging dabei darum, Mixed Reality – sozusagen eine Weiterentwicklung von AR – auf das Smartphone zu bringen. Eine super spannende Entwicklung war hier Googles Project Tango mit Tiefenkameras, deren Prinzip auch bei der Gesichtserkennung eine Rolle spielen. Damit wird eine ganze Bewegung abgescannt und man kann dann mit dem Smartphone in der virtuellen Umgebung sehr genau Dinge platzieren, weil eben genau erkannt wird, wie weit ein Tisch weg ist. Das wurde dann irgendwann eingestellt, dann kam aber Google mit ARCore, das auf jeder Kamera läuft und auch Oberflächen erkennt – leider nicht so gut. Da dachte ich, ok, diese Technologie ist jetzt weg. Aber das Gegenteil war der Fall. Es kommen nämlich immer mehr Kameras mit Tiefenerkennung auf den Markt. Zum Beispiel das neue iPhone X mit seiner Tiefenkamera. Die funktioniert allerdings nur für das Gesicht.

Das Wichtigste für mich daran ist allerdings, dass man durch die Tiefenerkennung wirklich mit der Welt interagieren kann. Dadurch entsteht eine Mixed Reality, wo die digitalen Objekte sich an die reale Welt anpassen und sozusagen mit den realen Objekten interagieren können. Das ist wieder spannend zu sehen, dass diese Entwicklung dann doch weiter geht. Man sollte immer im Auge behalten, dass vieles wieder aufgegriffen wird, auch wenn es irgendwo mal ‚gestorben‘ ist.

Es gab beispielweise eimal eine Firma, die LYTRO hieß, die haben 360 Grad Lichtfeldkameras gebaut. Die Kameras können Räume komplett als Echtzeitmodell erfassen. Darum braucht man dafür auch eine riesige Renderfarm. Die Firma ist irgendwann von Google gekauft worden, damit ist die Technologie dann erstmal vom Markt genommen wurden. Diesen wirtschaftlichen Faktor sollte man nicht unterschätzen. Da werden Patente und Firmen aufgekauft und dann kommt irgendwann wieder etwas Neues raus. Deshalb ist es so wichtig, dran zu bleiben und zu beobachten.

Behandeln Sie im Studiengang auch die ethische Aspekte oder nur die technische Seite?

Rupert-Kruse: Das kommt drauf an. Wir sind zunächst einmal praxisorientiert und wir wollen vordergründig erstmal verstehen, wie das Ganze funktioniert. Allerdings finde ich ethische Aspekte sehr bedeutsam. In den 1960er Jahren hat Stanislaw Lem beispielsweise ein Buch mit dem Namen „Summa Technologiae“ herausgebracht. Hier wird VR mit Gehirninterfaces usw. beschrieben – Lem nennt das Phantomatik und spricht dabei auch ethische Probleme an.

Diese Aspekte kommen allerdings erst heute so richtig auf den Tisch, u.a. in Bezug auf VR als Empathie-Maschine. Wichtig ist zu sagen, dass wir auch in der virtuellen Welt immer wir bleiben. Auch wenn ich mich in der VR in eine andere Figur transferiere, bleibe ich immer noch ich. Auf der anderen Seite kann VR aber viel mehr Empathie auslösen als ein planarer Film. Wir müssen uns also fragen, was VR mit uns macht. Wie fühlt sich zum Beispiel sexuelle Belästigung in der virtuellen Realität an und welchen tiefen Eindruck kann das hinterlassen.

Wir haben im Studium die allgemeine Medienethik, aber auch in speziellen Kursen tauchen diese Fragen immer wieder auf und werden diskutiert. Aber erstmal geht es in diesem Kontext darum neue Technologien auszuprobieren und ein Bewusstsein für deren Möglichkeiten zu schaffen. Erst dann kann man sich damit auseinandersetzen, dass man zum Beispiel in der VR Dinge nicht so extrem inszenieren darf, wie in einem Film. Ich möchte nicht von einem Axtmörder an der Tür begrüßt werden, das ist mir mit einer VR-Brille zu echt. Wir haben gerade ein Projekt, in dem es um den zweiten Weltkrieg geht. Hier muss man sehr stark die ethische Ebene einbeziehen. Man will ja den Leuten beispielsweise Eindrücke vermitteln, was es einerseits heißt Bomberpilot zu sein (und damit Täter) oder andererseits im Bunker zu sitzen (und damit Opfer zu sein). Man will nicht erreichen, dass die Nutzer Spaß haben daran, Bomben abzuwerfen, sondern sie sollen reflektieren, was das bedeutet, diesen todbringenden Knopf zu drücken. Wenn Nutzer in dieser Experience stecken, dann werden die Leute Bomben abwerfen (müssen oder wollen), ok, aber dann sollen sie auch spüren, was sie getan haben – darum der Wechsel vom Opfer zum Täter. Das ist das Spannende daran. Im Gegensatz zu einem Spiel, in dem sie etwa nur Bomberpiloten sind, werden die Nutzer direkt mit den Konsequenzen ihres Tuns konfrontiert und sie merken, „Oh mein Gott, das ist ja schrecklich!“. Hier sieht man schließlich, dass ethischen Fragen immer mitgedacht werden müssen.

Was war das prägendste Ereignis, seit Sie hier sind?

Rupert-Kruse: Da fallen mir einige ein. Wir waren mit dem Labor in Kiel unterwegs bei „Die Holtenauer meets die Nacht der Wissenschaft“. Ein relativ großer, schwerer Mann hat mit der VR-Brille die Achterbahn ausprobiert und wir mussten ihn zu zweit stützen, weil er in eine extreme Kurve gegangen ist und fast das ganze Equipment dabei runtergerissen hätte. Oder ein Masterstudiengang, mit dem ich die VR-Brillen ausprobiert habe. Man sitzt dann da und sieht, die Leute erleben etwas und sind so sehr drin, dass sie die ganze Welt um sich vergessen. Das ist Immersion. Und es ist unsere Mission, rauszugehen und den Leuten das zu zeigen.

Ist das eher was für die nachfolgende Generation?

Rupert-Kruse: Auf jeden Fall. Bis 30 findet man alles toll, was bis dahin entstanden ist, ab 30 muss man irgendwie zurechtkommen mit den Technologien, die da sind und ab 60 ist alles, was vorher da war, toll und alles, was danach kommt nicht mehr wichtig.

Ich merk das auch, ich hab zu bestimmten Sachen keinen Zugang mehr, zum Beispiel Snapchat. Ich werde die Kamera meines Smartphones niemals so benutzen, wie es Jugendliche tun.

Was würden Sie Studierenden mitgeben, die sich für diesen Studiengang interessieren?

Rupert-Kruse: Immer seiner Leidenschaft folgen, dann ist die Wahl immer richtig. Aber auch gucken, wo man später Chancen im Beruf hat. Am besten beides zusammen. Für alle, die den Interaktiven Teil nicht belegen wollen, weil man da angeblich so viel programmieren muss, kann ich nur sagen: Nicht davon beirren lassen. Letztendlich ist man hier, um Sachen zu lernen. Und vor allem sieht man sofort, was man gemacht hat.

Den gesamten Artikel „20 Jahre Multimedia Production an der Fachhochschule Kiel“ könnt ihr im Kulturmagazin Schleswig-Holstein lesen

Bild 1:  Samuel Zeller von Unsplash

Weitere Bilder: Mit freundlicher Genehmigung der FH Kiel

Schreibe einen Kommentar