Neue Steuerung für Smartwatch, Smartphone und Smart TV: Per Handrücken und darüber hinaus

Elektronische Armbanduhren, die Smartwatches, gelten als Revolution am Handgelenk. Allerdings lassen sie sich bisher nur umständlich bedienen, da ihre Eingabefläche zu klein ist. Forscher des Max-Planck-Instituts für Informatik haben daher zusammen mit Kollegen aus Finnland und Dänemark eine neuartige Eingabemethode entwickelt: Die Bewegungen von Daumen und Zeigefinger werden nicht neben der Uhr auf dem Handrücken wie auf einem Touchscreen erfasst, sondern auch im unmittelbaren Luftraum über dem Handrücken. Auf diese Weise lassen sich nicht nur Smartwatch, Smartphone, moderne Fernsehgeräte und Endgeräte für erweiterte Realität steuern, es sind auch völlig neue Interaktionsformen möglich.

Sie heißen „Apple Watch Series 2“, „LG Watch“, „Samsung GEAR S3“ oder „Moto 360 2nd Gen“ und haben alle das gleiche Manko. „Jede neue Produkt-Generation stellt bessere Bildschirme, schnellere Prozessoren und präzisere Kameras vor, in punkto Eingabe bleibt es jedoch bei den Beschränkungen“, erklärt Srinath Sridhar, der an der Universität des Saarlandes promoviert hat und am Max-Planck-Institut für Informatik forscht. Sridhar hat daher zusammen mit Professor Christian Theobalt am Max-Planck-Institut für Informatik sowie Forschern in Dänemark und Finnland eine Eingabemethode entwickelt, die die Fingerspitzen von Daumen und Zeigefinger sowohl im dreidimensionalen Luftraum über dem Handrücken als auch ihre Position und ihren Druck auf dem Handrücken selber erfasst.

An Hardware setzt der Prototyp, den die Forscher auf den Namen „WatchSense“ getauft haben, lediglich einen Tiefensensor voraus, der eine kleinere Version des Sensors ist, wie man ihn von der Spielesteuerung „Kinect“ für die Videospielkonsole Xbox 360 kennt. Bei WatchSense sitzt der Tiefensensor am Unterarm des Anwenders, knapp 20 Zentimeter von der Uhr entfernt. Als eine Art 3D-Kamera filmt er Bewegungen von Daumen und Zeigefinger, sowohl auf dem Handrücken als auch im Luftraum darüber. Die von den Forschern entwickelte Software erkennt im 3D-Bild Position und Bewegung der Finger, so dass der Nutzer damit Anwendungen auf Smartphone und Co. steuern kann. „Die aktuell erhältlichen Tiefensensoren passen zwar noch nicht in eine Smartwatch, aber der Trend geht ganz klar dahin, dass in naher Zukunft kleinere Tiefensensoren in die Smartwatches integriert werden“, sagt Sridhar.

Doch damit ist es noch nicht getan. Laut Sridhar hätten die Wissenschaftler mit ihrem Softwaresystem sowohl die Herausforderung lösen müssen, mit dem unebenen Handrücken zurechtzukommen und mit dem Umstand, dass sich die Finger gegenseitig verdecken können. „Das Wichtigste ist, dass wir die Finger nicht nur erkennen, sondern auch unterscheiden können“, erklärt Sridhar, „das hat zuvor kein tragbarer Prototyp gekonnt. Wir schaffen es nun sogar in Echtzeit“. Die Software erkennt exakt die Position von Daumen und Zeigefinger im vom Tiefensensor gelieferten 3D-Bild, weil die Forscher sie mit „Maschinellem Lernen“ darauf trainiert haben. Zusätzlich haben die Forscher ihren Prototypen erfolgreich in Kombination mit verschiedenen Mobilgeräten und in diversen Szenarien getestet.

„Smartphones können zwar mit einem oder mehreren Fingern auf dem Display bedient werden, sie nutzen aber nicht den Raum darüber. Kombiniert man beides, kann man bisher unmögliche Interaktionsformen erschaffen”, erläutert Sridhar. Gemeinsam mit seinen Kollegen konnte er nachweisen, dass man mit WatchSense die Lautstärke in einem Musik-Programm schneller ändern und ein neues Lied auswählen kann als mit einer herkömmlichen App. Die Forscher erprobten WatchSense ebenfalls für Tätigkeiten in der erweiterten und virtuellen Realität sowie eine Landkarten-Anwendung und steuerten damit auch einen großen, externen Bildschirm. Ihre Nutzerstudien zeigten, dass WatchSense im Vergleich zu herkömmlichen berührungsempfindlichen Displays benutzerfreundlicher ist. Sridath gibt sich zuversichtlich: „Wir brauchen so etwas wie WatchSense, wenn wir unterwegs produktiv sein wollen, also etwa auf dem Fußweg zur Arbeit noch schnell eine Nachricht versenden möchten. WatchSense ermöglicht erstmals echte ‚interaction on the move‘.“

An dem Forschungsprojekt sind neben den Saarbrücker Wissenschaftlern Anders Markussen und Sebastian Boring von der Universität Kopenhagen sowie Antti Oulasvirta von der finnischen Aalto Universität beteiligt. Ab 6. Mai präsentieren die Forscher WatchSense auf der renommierten Konferenz „Conference on Human Factors in Computing“, kurz CHI, die diesmal in der US-amerikanischen Stadt Denver stattfindet.

Pressefotos unter: www.uni-saarland.de/pressefotos

 

Weitere Informationen:

Video und Paper
http://handtracker.mpi-inf.mpg.de/projects/WatchSense

Fragen beantwortet:
Prof. Dr. Christian Theobalt
Max-Planck-Institut für Informatik
Saarland Informatics Campus
Tel.: +49 681 9325 4028
E-Mail: theobalt(at)mpi-inf.mpg.de

Redaktion:
Gordon Bolduan
Kompetenzzentrum Informatik Saarland
Saarland Informatics Campus
Tel: +49 681 302 70741
E-Mail: gbolduan(at)mmci.uni-saarland.de

Hinweis für Hörfunk-Journalisten: Sie können Telefoninterviews in Studioqualität mit Wissenschaftlern der Universität des Saarlandes führen, über Rundfunk-Codec (IP-Verbindung mit Direktanwahl oder über ARD-Sternpunkt 106813020001). Interviewwünsche bitte an die Pressestelle (0681/302-3610).