Zwei „Best Paper Awards“ auf der weltgrößten Konferenz zur Mensch-Maschine-Interaktion

Dennis Wittchen wurde mit einem "Best Paper Award" bei der CHI 2026 ausgezeichnet. Foto: privat

Virtuelle Welten buchstäblich spürbar zu machen, ist eine der wichtigsten Fragestellungen im Bereich Mensch-Maschine-Interaktion. Während der Sehsinn und das Gehör schon gut in die virtuelle und erweiterte Realität (VR und AR) integriert sind, hinkt der Tastsinn noch hinterher. Dies zu ändern erforscht die „Sensorimotor Interaction Group“ von Dr. Paul Strohmeier am Max-Planck-Institut (MPI) für Informatik. Zwei Arbeiten, die die Gruppe gemeinsam mit der Universität des Saarlandes und internationalen Partnern verfasst hat, werden nun auf der weltgrößten Fachkonferenz im Bereich Mensch-Maschine-Interaktion jeweils mit einem „Best-Paper-Award“ ausgezeichnet.

Diese Auszeichnung wird nur rund 3,6 % der insgesamt mehr als 1700 Arbeiten verliehen, die bei der „Conference on Human Factors in Computing Systems“ akzeptiert wurden. Die Konferenz findet 2026 vom 13.-17. April in Barcelona statt.

Die erste ausgezeichnete Arbeit ist „Scene2Hap: Generating Scene-Wide Haptics for VR from Scene Context with Multimodal LLMs“. „In der virtuellen Realität sind wir es gewohnt, Inhalte zu sehen oder zu hören. Virtuelle Welten zum Tasten sind deutlich seltener. Während visuelle Inhalte durch Licht und akustische durch Schallwellen erzeugt werden, basiert unser Ansatz auf Vibration. Aufbauend auf einfachen Effekten, wie man sie etwa von VR-Controllern oder Smartphones kennt, bilden wir so die komplexen Dynamiken der taktilen Welt nach“, erklärt Paul Strohmeier. Die Vibrationsmuster (fachsprachlich vibrotaktiles Feedback) zur Erzeugung solcher haptischer Eindrücke müssen bisher jedoch händisch erstellt werden – was für komplexe VR-Szenen mit vielen Gegenständen nicht skaliert. Damit befasst sich die nun ausgezeichnete Arbeit.

Mit „Scene2Hap“ haben die Erstautoren Arata Jingu aus dem Human-Computer Interaction Lab der Universität des Saarlandes von Professor Jürgen Steimle und Easa AliAbbasi aus der Sensorimotor Interaction Group von Paul Strohmeier nun einen Ansatz entwickelt, um Gegenstände und Szenen in der Virtuellen Realität automatisch mit aussagekräftigen Vibrationsmustern zu versehen. Dazu nutzen die Forscher ein multimodales großes Sprachmodell (Large Language Model (LLM)), das neben Sprache auch Bild- und Tondaten verarbeiten kann. Das Modell erschließt automatisch die Semantik der Objekte, physikalische Eigenschaften und Materialeigenschaften sowie den physikalischen Kontext der Szene.

„Wir greifen dazu auf verschiedene Meta-Informationsebenen zurück, die vom Kontext eines virtuellen Gegenstands bis hin zu den Materialeigenschaften, die das LLM auf dem Bild erkennt, reichen können“, erklärt Easa AliAbbasi. Das vibrotaktile Feedback wird anschließend für jede Hand einzeln erzeugt und auf die gehaltenen VR-Controller übertragen. In drei verschiedenen Nutzerstudien konnte das Team zeigen, dass „Scene2Hap“ erfolgreich das Raumgefühl und die Materialwahrnehmung verbessern und allgemein zu einem besseren Nutzungserlebnis beitragen konnte, wenn die VR-Umgebung komplett mit der neu entwickelten Pipeline erstellt wurde.

Bei der zweiten ausgezeichneten Arbeit „How are Vibrotactile Experiences Visually Represented? A Taxonomy of Illustration Characteristics“ handelt es sich um eine Metastudie, die sich damit befasst, wie haptische Eindrücke und taktile Informationen in der Forschung kommuniziert werden. Konkret wurde in der nun ausgezeichneten Arbeit untersucht, wie vibrotaktiles Feedback visuell dargestellt wird. „Wenn neue Methoden für visuelles Rendering entwickelt werden, lässt sich ihre Qualität in Artikeln direkt zeigen, etwa durch ein Bild. In der Haptikforschung ist das anders: Wir können nur beschreiben, wie sich etwas anfühlt, den tatsächlichen Eindruck aber nicht so einfach unmittelbar vermitteln. Meiner Meinung nach ist diese eingeschränkte Darstellbarkeit eine zentrale Herausforderung der Haptikforschung“, sagt Paul Strohmeier.

Zur Analyse dieser Problematik haben die Forschenden zunächst eine Taxonomie für die Darstellung vibrotaktiler Erfahrungen (VTX) erstellt und anschließend insgesamt 1652 Paper der letzten 25 Jahre aus den digitalen Bibliotheken der beiden weltgrößten professionellen Vereinigungen der Informatik (Association for Computing Machinery (ACM) und Institute of Electrical and Electronics Engineers (IEEE)) gesammelt. Darin haben sie wiederum 768 Darstellungen aus 409 Forschungsarbeiten identifiziert und hinsichtlich ihrer visuellen Darstellung von VTX auf Grundlage ihrer Taxonomie kodiert. Ihre Ergebnisse deuten darauf hin, dass (1) die Hälfte der Abbildungen die zeitliche Abstimmung vibrotaktiler Rückmeldungen in Bezug auf die Handlungen der Nutzerinnen und Nutzer vermittelt, (2) Abbildungen eher Reize als Erlebnisse darstellen und multimodale Aspekte der Erfahrungen nur selten kommunizieren, und (3) kontextuelle Informationen zu vibrotaktilen Displays sowie erfahrungsbezogene Aspekte häufig auf mehrere sich ergänzende Abbildungen verteilt sind.

„Mit unserer Taxonomie wollen wir Autoren künftig ein Werkzeug an die Hand geben, um ihre Illustrationen zu analysieren und zu verbessern. Gleichzeitig könnte sie gemeinsam mit dem zugehörigen Datensatz ein Ansatz für generative Modelle sein, um sich Ideen oder Inspirationen für Visualisierungen der eigenen Forschung automatisch erstellen zu lassen“, erklärt Dennis Wittchen aus der SensInt-Group, der die Arbeit gemeinsam mit Bruno Fruchard vom französischen Forschungsinstitut Inria als Erstautor verfasst hat.

Originalpublikationen:
Arata Jingu, Easa AliAbbasi, Sara Safaee, Paul Strohmeier, and Jürgen Steimle. 2026. Scene2Hap: Generating Scene-Wide Haptics for VR from Scene Context with Multimodal LLMs. In Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems (CHI ’26), April 13–17, 2026, Barcelona, Spain. ACM, New York, NY, USA, 21 pages. https://doi.org/10.1145/3772318.3791297

Bruno Fruchard, Dennis Wittchen, Nihar Sabnis, Paul Strohmeier, and Donald Degraen. 2026. How are Vibrotactile Experiences Visually Represented? A Taxonomy of Illustration Characteristics. In Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems (CHI ’26), April 13–17, 2026, Barcelona, Spain. ACM, New York, NY, USA, 24 pages.
doi.org/10.1145/3772318.3790598

Weitere Informationen:
Website der Conference on Human Factors in Computing Systems: https://chi2026.acm.org/
Website der Sensorimotor Interaction Group: https://sensint.mpi-inf.mpg.de/

Redaktion:
Philipp Zapf-Schramm
Max-Planck-Institut für Informatik
Tel: +49 681 9325 4509
E-Mail: pzs@mpi-inf.mpg.de