Die Benutzeroberfläche hebt ab

Mit fliegenden Fingern

Forscher der ETH Zürich haben Software entwickelt, mit deren Hilfe ein herkömmliches Smartphone oder auch eine Smartwatch Gesten erkennen kann.
23. Oktober 2014, 00:03
Neue Zürcher Zeitung

Stefan Betschon

Die Beziehung zwischen Mensch und Maschine steckt in einer Krise. Wieder einmal. Die Computer werden immer kleiner, können immer mehr, der Mensch bleibt, was er ist, wünscht sich eine Tastatur, wenn er ein Touch-Display hat, wünscht ein Touch-Display, wenn er auf dem Grossbildschirm die mausgesteuerte Einfügemarke sucht. Der Mensch möchte die Daten anfassen, in die Hände nehmen, doch er ermüdet rasch und jammert, wenn er mit ausgestreckten Armen Eingaben machen soll, obwohl das ja einst Tom Cruise als Hauptdarsteller in «Minority Report» so vorgeturnt hat.

Mehr Platz

Vielleicht könnte die Beziehung zwischen Mensch und Maschine davon profitieren, dass die beiden zueinander auf Distanz gehen? Berührungsempfindliche Bildschirme haben Mensch und Maschine einander nähergebracht. Doch die Bildschirmfläche ist begrenzt, und gleichzeitig wächst die Zahl der Interaktionsmöglichkeiten, die hier dargestellt werden müssen. Vielleicht liesse sich die Benutzeroberfläche loslösen vom Bildschirm, vielleicht könnte man den Fingern abseits des Bildschirms Entfaltungsmöglichkeiten bieten?

Diese Idee einer «Around Device Interaction» hat in jüngster Vergangenheit rund um die Welt Computerwissenschafter zu vielversprechenden Forschungsprojekten inspiriert. Zu ihnen gehört Otmar Hilliges, der 2012 als Assistenzprofessor für Informatik an die ETH berufen wurde. Hilliges leitet in Zürich innerhalb des Departements Informatik am Institute for Pervasive Computing das Advanced Interactive Technologies Lab. Zu Beginn des Monats hat er zusammen mit Mitarbeitern an einem Symposium in Hawaii neue Möglichkeiten der Mensch-Maschine-Interaktion vorgestellt.

Bei dem Projekt, das die ETH-Forscher zusammen mit Kollegen von Microsoft Research durchgeführt haben, wurde der Raum für die Interaktion zwischen Mensch und Maschine ausgeweitet. Ein herkömmliches Smartphone kann nun die Bewegungen von Fingern vor und hinter dem Gerät erkennen. Während der Bildschirm Berührungen der einen Hand wahrnimmt, analysiert die eingebaute Kamera Gesten der anderen Hand.

Es sei nicht ihre Absicht, so schreiben die Forscher in ihrem Aufsatz, das Touch-Display zu ersetzen. Vielmehr sollen die beiden Eingabeverfahren kombiniert werden. Ein Anwender kann beispielsweise mit der rechten Hand, die Zugriff auf den Bildschirm hat, in einem Dokument blättern, während die andere Hand den Zoom-Faktor kontrolliert.

In einem anderen Szenario zeichnet der Finger der einen Hand auf dem Bildschirm, während die andere dafür sorgt, dass im richtigen Moment ein Auswahlmenü aufklappt, in dem der zeichnende Finger sich einen anderen Pinsel aussuchen kann. Es klingt glaubwürdig, was die Forscher auf der Basis von Tests behaupten, dass ein Anwender schneller vorankommt, wenn er beide Hände benutzen kann.

Das Handy kann mithilfe einer ganz normalen Kamera, durch die Analyse von 2-D-Bildern, die Hand orten und die Konturen von Gesten erkennen. Die Analyse von Bewegungen haben sich die Forscher für ein späteres Projekt vorgenommen. Weil inzwischen sehr viele mobile Computer mit einer Kamera ausgestattet sind, gibt es für die Software der ETH-Forscher viele Einsatzmöglichkeiten. Sie haben ihre Software auch auf Tablets oder einer Smartwatch installiert. Gerade hier, wo die Bildschirmfläche sehr begrenzt ist, bewährte sich die Gestenerkennung.

Es ist nicht das erste Forschungsprojekt von Hilliges, das sich mit «Around Device Interaction» beschäftigt. Der junge Wissenschafter hat zusammen mit Forschern von Microsoft etwa auch mit einer Computertastatur experimentiert, die dank eingebauten Infrarot-Näherungssensoren nicht nur die Berührung einer Taste registrieren, sondern auch Handbewegungen oberhalb der Tasten erkennen kann.

Diese Arbeiten und andere, die etwa in den Labors von Google durchgeführt wurden und werden, lassen den Eindruck entstehen, als ob «Around Device Interactions» schon bald den Umgang mit mobilen Computern ebenso grundlegend verändern könnten, wie es vor knapp zehn Jahren der Multi-Touch-Bildschirm getan hat.

«Ich glaube nicht, dass der Touchscreen sich so lange wird halten können wie Maus und Tastatur», sagt Hilliges im persönlichen Gespräch. Er erwartet grosse Veränderungen. «Ich bin der Meinung, dass Smartphone und Tablet temporäre Erscheinungen sind. Ich vermute, dass wir bald viele Eingabe- und Ausgabegeräte auf dem Körper tragen werden, Alltagsgegenstände, Uhren, Brillen, dank denen wir mit Computern in Verbindung treten können. Es wird nicht mehr einen Computer geben, der alle unsere Daten beherbergt, sondern viele und auch viele Schnittstellen zwischen realer und virtueller Welt, alles wird sich in einem Netzwerk auflösen.»

Vielfältige Ansprüche

Viele Anwender erlebten die Multi-Touch-Displays, die Apple 2007 mit dem iPhone auf den Markt brachte, als plötzlichen Durchbruch. Doch als Thema der Forschung hat dieser Bildschirm eine lange Vorgeschichte; Experimente mit Multi-Touch-Displays wurden bereits Mitte der 1980er Jahre durchgeführt (Bob Boie, Bill Buxton).

Es scheint, als ob es immer rund zwei Jahrzehnte braucht, damit sich bei der Weiterentwicklung der Mensch-Maschine-Schnittstelle neue Ideen durchsetzen können. Die grafische Benutzeroberfläche, die Apple mit dem Macintosh-Computer 1984 vorstellte, war Mitte der 1960er Jahre konzipiert worden (Ivan Sutherland, Doug Engelbart). Seit Mitte der 1990er Jahre beschäftigt die Gestenerkennung die Forschung – sie dürfte bald für den kommerziellen Einsatz bereit sein.

Warum dauert es in diesem Bereich immer so lange, bis sich neue Konzepte durchsetzen? Weil es, so Hilliges, bei diesem Thema nicht nur um Maschinen gehe, sondern auch um Menschen und weil Menschen sehr anspruchsvoll seien. «Es geht nicht nur um Technik, sondern auch um Psychologie, Design, Ästhetik, da kommt vieles zusammen, und alles muss bis ins kleinste Detail zusammenpassen.»


Leserkommentare

Anzeige: