Gehirn ausgetrickst: Neue Dimensionen der Haptik in der Virtuellen Realität

André Zenner mit dem Controller „Drag:on“, der aus zwei Flamenco-Fächern besteht. © Oliver Dietze/DFKI

Wie kann man die virtuelle Realität (VR) haptisch, also durch den Tastsinn, erfahrbar machen? Das ist eine der grundlegenden Fragen, mit denen sich die moderne VR-Forschung beschäftigt. Der Saarbrücker Informatiker André Zenner ist in seiner Doktorarbeit der Antwort auf diese Frage ein großes Stück nähergekommen – indem er neue Geräte erfunden und die passende Software dazu entwickelt hat. Dafür wurde er nun auf der weltweit führenden VR-Fachkonferenz mit dem renommierten „Best Dissertation Award“ ausgezeichnet.

In der nun prämierten Arbeit geht es darum, wie man physische Requisiten (Fachterminus: „Proxys“) einsetzen kann, um Objekte in virtuellen Umgebungen haptisch erfahrbar zu machen. „Man kann natürlich nicht für jedes virtuelle Objekt ein Proxy vorhalten, dann wäre der Ansatz nicht skalierbar. In meiner Dissertation habe ich mir deshalb überlegt, wie Geräte aussehen könnten, mit denen die physischen Eigenschaften verschiedener virtueller Objekte möglichst effektiv simuliert werden können“, erklärt André Zenner, der an der Graduiertenschule der Saarbrücker Informatik an der Universität des Saarlandes promoviert hat und nun an der Saar-Universität sowie am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) forscht.

Herausgekommen sind die Prototypen für zwei spezielle VR-Controller namens „Shifty“ und „Drag:on“. VR-Controller sind Geräte, die von einem Benutzer in der Hand gehalten werden können, um durch eine entsprechende Tracking-Technologie Objekte in der virtuellen Realität zu steuern oder zu manipulieren.

„Shifty“ ist ein stabförmiger Controller, in dem ein bewegliches Gewicht verbaut ist. Das Gewicht kann durch einen Motor entlang der Längsachse verschoben werden, sodass sich der Schwerpunkt und die Trägheit des Stabes ändert. „In Kombination mit entsprechenden Visualisierungen in der virtuellen Realität kann mit Shifty die Illusion erweckt werden, dass ein virtuelles Objekt länger oder schwerer wird“, erklärt André Zenner. In Experimenten konnte er nachweisen, dass Objekte als leichter oder kleiner wahrgenommen werden, wenn sich das Gewicht in der Nähe der Hand des Nutzers befindet, und dass sie, gekoppelt mit dem entsprechenden visuellen Input, als länger und schwerer empfunden werden, je weiter sich das Gewicht im Stab vom Nutzer wegbewegte. „Das hängt vor allem mit Veränderungen der Trägheit des Controllers zusammen, denn das Gesamtgewicht ändert sich ja nicht“, erläutert André Zenner. Die Forschungs- und Entwicklungsabteilung des Gaming-Riesen Sony experimentiert bereits mit diesem Konzept und zitiert André Zenners Arbeit bei der Entwicklung neuartiger VR-Controller.

Der zweite Controller „Drag:on“ besteht aus zwei Flamenco-Fächern, die mithilfe von Servomotoren aufgefaltet werden können und so den Luftwiderstand des Controllers erhöhen. Sprich, je weiter die Fächer aufgefaltet sind, desto mehr Kraft muss der Nutzer aufbringen, um den Controller durch die Luft zu bewegen. „Gepaart mit den richtigen visuellen Reizen kann mit Drag:on beispielsweise der Eindruck erzeugt werden, dass man gerade eine kleine Schaufel oder ein großes Paddel in der Hand hält, oder dass man einen schweren Wagen schiebt und an einem schwergängigen Knopf dreht“, erläutert André Zenner. Bei beiden Controllern handelt es sich um Grundlagenforschung und sogenannte „Proof of Concepts“. Das heißt, anhand der Prototypen kann gezeigt werden, dass verschiedene Zustände des Controllers die Wahrnehmung unterschiedlicher VR-Objekte verbessern können, konkrete Produkte, die diese Technologie benutzen, sind jedoch noch nicht auf dem Markt erhältlich.

Mit den Controllern hat sich der Saarbrücker Informatiker zunächst dem Ähnlichkeitsproblem (‚similarity problem‘) gewidmet. Dabei geht es darum zu erreichen, dass sich virtuelle und echte Objekte möglichst ähnlich anfühlen. Im zweiten Teil seiner Arbeit beschäftigte er sich mit dem so genannten ‚colocation problem‘, also der Frage, ob sich das Proxy räumlich in echt dort befindet, wo der Nutzer es in der virtuellen Realität sieht. Besonders herausfordernd: Da die Controller als Proxy für verschiedene virtuelle Objekte fungieren, muss beim Nutzer die Illusion erweckt werden, dass er nach verschiedenen Objekten greift, obwohl er in Wirklichkeit immer dasselbe Proxy fassen wird.

Dazu machte sich der Forscher die bereits etablierte Methode der „Hand Redirection“ zunutze. Wie der Name vermuten lässt, wird dabei die Bewegung der Hand in der virtuellen Realität umgelenkt, sodass der Nutzer denkt, er greife beispielsweise nach links, obwohl er die Hand gerade nach vorn ausstreckt. „Wir haben in Experimenten untersucht, ab welchem Punkt Nutzer merken, dass ihre Hand umgelenkt wurde. Unsere Ergebnisse zeigten, dass dieser Punkt schnell erreicht war und so haben wir uns überlegt, wie wir die Handumlenkung besser verbergen können“, sagt André Zenner. Die Lösung: Er trickste das Gehirn aus, indem er die Umlenkung der Hand nur dann durchführte, wenn das Gehirn gerade blind für visuelle Veränderungen war – nämlich während des Blinzelns. Dazu entwickelte er zusammen mit einer von ihm betreuten Studentin die passende Software und nutzte die in vielen VR-Headsets verbauten Eye-Tracker. In Kontrollstudien konnte das Team dann zeigen, dass seine neuen Controller in Kombination mit Handumlenkungs-Algorithmen zu überzeugenderen VR-Wahrnehmungen führten als bisher möglich.

Dieser Forschungserfolg wurde nun international prämiert. Die Arbeit unter dem Titel „Advancing Proxy-Based Haptic Feedback in Virtual Reality“ wurde Mitte März bei der „IEEE Conference on Virtual Reality and 3D User Interfaces”, die in diesem Jahr in Orlando in Florida stattfand, mit dem „IEEE VGTC Virtual Reality Best Dissertation Award“ ausgezeichnet. Laut Angaben des IEEE wird der Preis jedes Jahr an den Autor oder die Autorin der herausragendsten Dissertation verliehen, die in den vorangegangenen zwei Kalenderjahren in den Forschungsbereichen der virtuellen und erweiterten Realität verteidigt wurde. Insgesamt wurden zur 2024er Auflage der Konferenz 16 Dissertationen eingereicht und von einem internationalen Expertenkomitee begutachtet. Betreut wurde die Arbeit von Prof. Dr. Antonio Krüger, CEO des Deutschen Forschungszentrums für Künstliche Intelligenz und Leiter des „Ubiquitous Media Lab“ an der Universität des Saarlandes.

Originalpublikation:
Zenner, A. (2022). Advancing Proxy-Based Haptic Feedback in Virtual Reality. Universität des Saarlandes. doi:10.22028/D291-37879

Weitere Informationen:

https://ieeevr.org/vgtc/VR_best_dissertation/index.html

https://www.youtube.com/watch?v=1l0wKk6q_ss (Video „Shifty”)

https://www.youtube.com/watch?v=Wf1Ls4M2afg (Video „Drag:on”)

https://www.youtube.com/watch?v=-NuaQnvyV_8 (Video „Blink-Suppressed Hand Redirection“)

Fragen beantwortet:
Dr.-Ing. André Zenner
Universität des Saarlandes & Deutsches Forschungszentrum für Künstliche Intelligenz
Tel.: +49 681 85775 5117
E-Mail: Andre.Zenner@dfki.de

Hintergrund Deutsches Forschungszentrum für Künstliche Intelligenz:
Das Deutsche Forschungszentrum für Künstliche Intelligenz GmbH (DFKI) wurde 1988 als gemeinnützige Public-Private-Partnership (PPP) gegründet. Es unterhält Standorte in Kaiserslautern, Saarbrücken, Bremen und Niedersachsen, Labore in Berlin, Darmstadt und Lübeck, sowie eine Außenstelle in Trier. Das DFKI verbindet wissenschaftliche Spitzenleistung und wirtschaftsnahe Wertschöpfung mit gesellschaftlicher Wertschätzung. Das DFKI forscht seit über 35 Jahren an KI für den Menschen und orientiert sich an gesellschaftlicher Relevanz und wissenschaftlicher Exzellenz in den entscheidenden zukunftsorientierten Forschungs- und Anwendungsgebieten der Künstlichen Intelligenz. In der internationalen Wissenschaftswelt zählt das DFKI zu den wichtigsten „Centers of Excellence“. Aktuell forschen ca. 1.560 Mitarbeitende aus über 76 Nationen an innovativen Software-Lösungen.

Redaktion:
Philipp Zapf-Schramm
Saarland Informatics Campus
Telefon: +49 681 302-70741
E-Mail: pzapf(at)cs.uni-saarland.de

Hintergrund Saarland Informatics Campus:
1000 Wissenschaftlerinnen und Wissenschaftler (darunter 540 Promovierende) und rund 2800 Studierende aus mehr als 81 Nationen machen den Saarland Informatics Campus (SIC) zu einem der führenden Standorte für Informatik in Deutschland und Europa. Vier weltweit angesehene Forschungsinstitute, nämlich das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI), das Max-Planck-Institut für Informatik, das Max-Planck-Institut für Softwaresysteme, das Zentrum für Bioinformatik, sowie die Universität des Saarlandes mit drei vernetzten Fachbereichen und 24 Studiengänge decken das gesamte Themenspektrum der Informatik ab.   https://saarland-informatics-campus.de/