Der am DAI-Labor der TU Berlin tätige Doktorand Mathias Wilhelm forscht seit vielen Jahren an unterschiedlichen Aufgabenstellungen der gestenbasierten Interaktion in vernetzten Umgebungen. Aus Mitteln der Deutschen Forschungsgemeinschaft entwickelt er seit 2016 einen Ring für die Erkennung von Mehrfingergesten. Aktuell wird diese Arbeit vom Bundesministerium für Bildung und Forschung gefördert und von unserem Netzwerkpartnern Kimocon GmbH und IOLITE GmbH unterstützt. Zum derzeitigen Stand der Forschung und den zukünftigen Anwendungspotenzialen haben wir mit Herrn Wilhelm vom DAI-Labor gesprochen.

Herr Wilhelm, was ist der PeriSense und was bedeutet eigentlich PeriSense?

PeriSense ist ein sensor-basierter Fingerring, welcher die Bewegung bzw. Gesten von mehreren Fingern erkennen kann. Sprich man kann damit zum Beispiel mit einem Fingerwisch das Licht im „Smart Home“ steuern.

Der Name PeriSense setzt sich aus dem griechischen Wort „peri“, was so viel wie „um … herum“, „ringsum“ oder „an allen Seiten stattfindend“ heißt, und dem englischen Wort „sense“, was so viel wie wahrnehmen bedeutet, zusammen. Im übertragenen Sinn heißt es also so viel wie „um den Ring herum wahrnehmend“, was eine Anspielung auf die elektrischen Felder ist, die wir um den Ring herum aufspannen.

Ist der PeriSense die zukünftige Fernbedienung für das Smart Home?

Durchaus, man kann zum Beispiel einfach auf die Rollos zeigen und sie durch eine kleine Handbewegung nach unten oder oben fahren lassen. Der Ring ersetzt aber keine bestehenden Modalitäten, sondern stellt eine Ergänzung und eine weitere Alternative dar. So kann der Ring z.B. mit einem Sprachassistenten zusammenarbeiten, indem über die Sprache kommuniziert wird „Schalte im Wohnzimmer das Licht ein“ und per Handbewegung wird dann die Helligkeit nachgeregelt. Im Gegensatz zu den bestehenden Modalitäten erlaubt der Ring unsichtbare Interaktionen. Zum Beispiel erfolgt eine Sprachsteuerung immer hörbar für jeden Anwesenden im Raum. Die Interaktionen mit dem Ring können unauffällig in ziemlich jeder Handposition ausgeführt werden. Das stört nicht andere im Raum anwesende Personen. Zudem können die Gesten auch bei lauter Musik oder anderen lauten Umgebungsgeräuschen problemlos ausgeführt werden, während hier Sprachinteraktion nicht so geeignet ist. Ein weiter Vorteil des Rings gegenüber Spracheingabe und Smartphone-basierter Steuerung ist, dass für bestimmte Geräte spezielle Gesten, sogenannte Shortcuts, definiert werden können, welche in der Regel schneller und komfortabler als über Sprache oder Telefon ausgeführt werden können. Ein weiterer Aspekt, der uns insbesondere von den handelsüblichen Sprachassistenten unterscheidet, ist, dass wir die Erkennung teilweise lokal auf dem Ring und ansonsten auf dem Smartphone, mit dem der Ring üblicherweise verbunden ist, ausführen. Es verlassen also keine privaten Daten das Haus.

Wie viele Steuerungsgesten kann PeriSense problemlos erkennen?

Grundsätzlich können wir sehr vielfältige Interaktionen erkennen. Das beginnt bei ausladenden Handbewegungen, geht über Fingerstellung und hin zu kleinen und unauffälligen Fingerbewegungen. Zudem können wir Interaktionen und Gesten erkennen, die auf oder in der nahen Umgebung des Rings ausgeführt werden. Somit können zum Beispiel mit dem Daumen Gesten oder Zeichen auf der Oberfläche des Rings ausgeführt bzw. geschrieben werden, wenn der Ring am Zeigefinger getragen wird. Erste Tests haben gezeigt, dass es sogar möglich ist mit dem Daumen Gesten oder Zeichen auf der Handfläche zu zeichnen und zu erkennen. Somit ist die Anzahl der erkennbaren Gesten recht hoch. Je nach Unterscheidbarkeit der einzelnen Gesten können wir für jede Interaktionstechnik acht bis 30 Gesten erkennen.
Ein limitierender Faktor ist eigentlich der Nutzer selbst. Eine Studie hat gezeigt, dass sich Nutzer bis zu 12 Interaktionen merken können.
Vor kurzem haben wir es übrigens geschafft, sogar die Fingerbewegungen der Hand zu verfolgen und die Bewegung aller Finger auf einem 3D-Modell wiederzugeben. Die Arbeit wurde auf der IUI-Konferenz in Italien vorgestellt. (Hier Video einsetzten)

Welche Technik wurde in den PeriSense verbaut?

Einmal ein Bewegungssensor, wie er in jedem Smartphone verbaut ist. Er misst die Beschleunigung, Rotationsänderung und das Erdmagnetfeld. Daraus lässt sich neben der Bewegung der gesamten Hand auch die grobe Zeigerichtung, also oben, unten, Norden, Süden, Osten und Westen, ermitteln. Das kann dazu genutzt werden, um auf bestimmte Geräte im Haus zu zeigen, welche man per Gesten steuern möchte. Feine Unterscheidungen lassen sich damit aber nicht umsetzen, dazu fehlt ein Lokalisierungssystem.
Das Besondere am Ring ist, dass wir zusätzlich bis zu acht elektrische Felder um den Ring erzeugen. Die Finger und die Hand selbst ändern diese Felder je nach Fingerstellung. Diese Änderungen können durch kapazitive Sensoren gemessen werden. Durch sie können wir nicht nur die Bewegung des Fingers erfassen, auf dem der Ring getragen wird, sondern mindestens auch die von den benachbarten Fingern. Dadurch kann die Bewegung von mehreren Fingern mit einem Ring gemessen werden.
Die Daten werden auf einem kleinen Mikroprozessor auf dem Ring vorverarbeitet und dann via Bluetooth an ein mobiles Gerät, z.B. ein Smartphone, zur Auswertung geschickt.

Worin unterscheidet sich PeriSense von Data Gloves, bei denen die ganze Hand moduliert wird?

Data Gloves können unter Umständen die Bewegung aller Finger viel genauer verfolgen, sind aber nicht wirklich alltagstauglich. Wer möchte schon den ganzen Tag einen Handschuh tragen? Zudem schränkt er die Haptik ein. Sie finden eher Einsatz im speziellen Industrie 4.0-Umfeld, wo ein Ring aus sicherheitstechnischen Aspekten ungeeignet sein kann. Beispielsweise auf Grund der Gefahr mit dem Ring hängen zu bleiben oder bei Arbeiten, die eine Handschuhpflicht erfordern.

Welche Smart Home-Anwendungen haben Sie mit dem PeriSense getestet?

Wir stehen hier noch ganz am Anfang. Der Ring entstand aus einem Grundlagenforschungsprojekt, welches von der DFG (Deutsche Forschunsgemeinschaft) gefördert wurde. Da ging es primär um die Entwicklung des Rings und dessen technische Evaluation. Wir beginnen jetzt die Phase, wo wir den Ring in Anwendungen integrieren und evaluieren. Dies geschieht u.a. in dem vom BMBF geförderten Projekt UbiAct, in dem Connected Living auch assoziierter Partner ist.
In UbiAct soll der Ring als Eingabegerät für eine AR-Brille im Smart Home-Umfeld dienen. Hierzu werden gerade in Nutzerworkshops Anwendungsfälle erarbeitet. Zudem wird der Ring im Rahmen des Projekts erweitert. Das Projekt hat aber erst begonnen und befindet sich gerade in der Anforderungsanalyse, so dass es noch keine konkreten Ergebnisse gibt.
Allerdings haben wir in diesem Rahmen bereits angefangen, den Ring in den Connected Living-Showroom im DAI-Labor, welcher als Evaluationsumgebung in UbiAct dient, zu integrieren. Hierfür haben wir den Ring mit der IOLITE-Plattform verbunden und ein erstes kleines Testszenario umgesetzt. Es erlaubt im Schlafzimmer des Showrooms die Steuerung der Rollos, der Deckenlichter, des Radios und der Inhalte eines Smart Mirrors.

Links:
DFG Projektnummer: 320971279
BMBF Projektnummer: 16SV8277 (https://www.technik-zum-menschen-bringen.de/projekte/ubiact)

Für welche Anwendungsfelder ist PeriSense besonders gut geeignet?

Die Anwendungsfelder sind sehr vielseitig. Der Ring kann beispielsweise als Eingabegerät für AR und VR-Brillen oder zur Steuerung des Smartphones (zum Beispiel um die Kameraauslösung oder den Musikplayer zu steuern) dienen. Und selbstverständlich auch als Fernbedienung für das Smart Home.
Wir überlegen auch innerhalb des UbiAct Projektes, wie wir erkennen können, was der Nutzer gerade anfasst oder auf was er zeigt. Der Ring könnte somit implizite Interaktionen auslösen. Beispielsweise könnte dann der Ring beim Kochszenario erkennen, dass gerade Zutat X in den Topf eingerührt wird und der Rezeptschritt wird daraufhin automatisch weitergeschaltet. Allergiker könnten auf Lebensmittel zeigen und den Sprachassistenten fragen, ob sie das Produkt essen können.
Darüber hinaus könnte der Ring auch als Aktivitätstracker genutzt werden. Einmal um Fitnessaktivitäten wie Laufen oder Radfahren zu tracken oder aber auch im Pflegebereich um beispielsweise einen Sturz zu erkennen, das Trinkverhalten zu dokumentieren oder lethargische Bewegungen zu melden.

Was ist die größte technische Herausforderung, um den PeriSense als neues Produkt auf dem Markt erfolgreich zu etablieren?

Hardwareseitig liegen die Herausforderungen in einer integrierten Hardware, die eine kleinere Bauweise ermöglicht und vor allem aus Hardwarekomponenten besteht, die günstig sind und sich gut für die Massenproduktion eignen. Auch bei der Akkulaufzeit und beim Lademanagement bedarf es noch Optimierung. All diese Punkte waren keine Problemstellungen des Grundlagenforschungsprojektes, sind aber durchaus lösbare Herausforderungen.
Weniger technisch, aber auch sehr wichtig: die Usability und der konkrete Anwendungsfall für den Ring. Für einen Erfolg am Markt ist es wichtig, dass der Ring in einem konkreten Anwendungsfall zum Einsatz kommt. Dies könnte zum Beispiel ein Eingabegerät für eine spezielle AR-Brille oder einen Fitnesstracker sein. Der Ring als universelle Fernbedienung für ein Smart Home hingegen birgt viele Risiken und Herausforderungen. Es ist sicherzustellen, dass der Ring bei jedem Nutzer gleich einfach und schnell zu integrieren und zu nutzen ist. Dies ist aber aufgrund der Heterogenität von Smart Homes sehr herausfordernd. Hier ist u.a. noch viel intensive Nutzerforschung nötig.
In Betracht, dass die Hardware überarbeitet und die entsprechenden Anwendungsfälle noch getestet und evaluiert werden müssen, halte ich einen Zeitraum von 2 bis 3 Jahren bis zur Marktreife für realistisch.

Für weitere Informationen können Sie Herrn Mathias Wilhelm kontaktieren unter:
mathias.wilhelm@dai-labor.de
+49 30 – 314-74105
http://www.dai-labor.de/
Paper-Link: https://www.dai-labor.de/publikationen/1245