Neue Steuerung für Smartwatch, Smartphone und Smart TV

Gestensteuerung
Foto: Oliver Dietze

Sie heißen „Apple Watch Series 2“, „LG Watch“, „Samsung GEAR S3“ oder „Moto 360 2nd Gen“ und haben alle das gleiche Manko. „Jede neue Produkt-Generation stellt bessere Bildschirme, schnellere Prozessoren und präzisere Kameras vor, in punkto Eingabe bleibt es jedoch bei den Beschränkungen“, erklärt Srinath Sridhar, der am Max-Planck-Institut für Informatik forscht. Sridhar hat daher zusammen mit Professor Christian Theobalt am Max-Planck-Institut für Informatik sowie Forschern in Dänemark und Finnland eine Eingabemethode entwickelt, die die Fingerspitzen von Daumen und Zeigefinger sowohl im dreidimensionalen Luftraum über dem Handrücken als auch ihre Position und ihren Druck auf dem Handrücken selber erfasst.

An Hardware setzt der Prototyp, den die Forscher auf den Namen „WatchSense“ getauft haben, lediglich einen Tiefensensor voraus, der eine kleinere Version des Sensors ist, wie man ihn von der Spielesteuerung „Kinect“ für die Videospielkonsole Xbox 360 kennt. Bei WatchSense sitzt der Tiefensensor am Unterarm des Anwenders, knapp 20 Zentimeter von der Uhr entfernt. Als eine Art 3D-Kamera filmt er Bewegungen von Daumen und Zeigefinger, sowohl auf dem Handrücken als auch im Luftraum darüber. Die von den Forschern entwickelte Software erkennt im 3D-Bild Position und Bewegung der Finger, so dass der Nutzer damit Anwendungen auf Smartphone und Co. steuern kann. „Die aktuell erhältlichen Tiefensensoren passen zwar noch nicht in eine Smartwatch, aber der Trend geht ganz klar dahin, dass in naher Zukunft kleinere Tiefensensoren in die Smartwatches integriert werden“, sagt Sridhar.
Doch damit ist es noch nicht getan. Laut Sridhar hätten die Wissenschaftler mit ihrem Softwaresystem sowohl die Herausforderung lösen müssen, mit dem unebenen Handrücken zurechtzukommen und mit dem Umstand, dass sich die Finger gegenseitig verdecken können. „Das Wichtigste ist, dass wir die Finger nicht nur erkennen, sondern auch unterscheiden können“, erklärt Sridhar, „das hat zuvor kein tragbarer Prototyp gekonnt. Wir schaffen es nun sogar in Echtzeit“. Die Software erkennt exakt die Position von Daumen und Zeigefinger im vom Tiefensensor gelieferten 3D-Bild, weil die Forscher sie mit „Maschinellem Lernen“ darauf trainiert haben. Zusätzlich haben die Forscher ihren Prototypen erfolgreich in Kombination mit verschiedenen Mobilgeräten und in diversen Szenarien getestet.

„Smartphones können zwar mit einem oder mehreren Fingern auf dem Display bedient werden, sie nutzen aber nicht den Raum darüber. Kombiniert man beides, kann man bisher unmögliche Interaktionsformen erschaffen”, erläutert Sridhar. Gemeinsam mit seinen Kollegen konnte er nachweisen, dass man mit WatchSense die Lautstärke in einem Musik-Programm schneller ändern und ein neues Lied auswählen kann als mit einer herkömmlichen App. Die Forscher erprobten WatchSense ebenfalls für Tätigkeiten in der erweiterteten und virtuellen Realität, eine Landkarten-Anwendung und steuerten damit auch einen großen, externen Bildschirm. Ihre Nutzerstudien zeigten, dass WatchSense im Vergleich zu herkömmlichen berührungsempfindlichen Displays benutzerfreundlicher ist. Sridath gibt sich zuversichtlich: „Wir brauchen so etwas wie WatchSense, wenn wir unterwegs produktiv sein wollen, also etwa auf dem Fußweg zur Arbeit noch schnell eine Nachricht versenden möchten. WatchSense ermöglicht erstmals echte ‚interaction on the move‘.“

An dem Forschungsprojekt sind neben den Saarbrücker Wissenschaftlern Anders Markussen und Sebastian Boring von der Universität Kopenhagen sowie Antti Oulasvirta von der finnischen Aalto Universität beteiligt. Ab 6. Mai präsentieren die Forscher WatchSense auf der renommierten Konferenz „Conference on Human Factors in Computing“, kurz CHI, die diesmal in der US-amerikanischen Stadt Denver stattfindet.

Weitere Informationen:Video und Paper

http://handtracker.mpi-inf.mpg.de/projects/WatchSense/

Fragen beantwortet:
Prof. Dr. Christian Theobalt
Max-Planck-Institut für Informatik Saarland
Informatics Campus
Tel.: +49 681 9325 4028
E-Mail: theobalt@mpi-inf.mpg.de

Redaktion:
Gordon Bolduan
Kompetenzzentrum Informatik Saarland
Saarland Informatics Campus
Tel: +49 681 302 70741
E-Mail: gbolduan@mmci.uni-saarland.de