GeForMT - GestenFormalisierung für MultiTouch

Projektidee

Die Multitouch-Technologie stellt eine neue Herausforderung an die Interfacegestaltung dar. Die natürlichen Benutzungsoberflächen erlauben die direkte Manipulation von Daten mit Fingern und Händen. Gesten, welche die Konversation unterstützen, werden intuitiv vom Menschen ausgeführt. Im Gegensatz dazu müssen flächige Gesten auf Touch-Geräten zunächst verstanden und verinnerlicht werden. Dies erfordert neben der Bereitstellung einheitlicher Interaktionsgesten in Form von Standards auch die Entwicklung einer Formalisierung mit Erweiterungsmechanismen.

Semiotik für Gesten in der Fläche

Als Grundlage für die Konzeption einer Gestenbeschreibungssprache wurde die Lehre der Zeichen (Semiotik) auf die Gesteninteraktion in der Fläche angewendet. Die Syntax beschreibt dabei die Ausführung einer Geste, das heißt Aspekte der Form und der zeitlichen Abfolge. Mit der Bedeutung einer Geste beschäftigt sich die Semantik. Die Wirkung von Zeichen wird schließlich in der Pragmatik behandelt. Insbesondere die Erlernbarkeit von Gesten im Zusammenhang mit dem bereits vorhandenen Anwenderwissen ist dabei zu berücksichtigen.

Gestenbeschreibungssprache

Atomare Gesten sind die kleinsten unterscheidbaren Einheiten der Gesteninteraktion. Es handelt sich dabei um einfache Bewegungen wie Linien, Halbkreise und Kreise, die eine bestimmte Richtung besitzen können. Sonderformen sind die einmalige Berührung der Oberfläche oder Freiformen. Die Windrose vereint die atomaren Gesten in einem einheitlichen System. Diese können nun in ihrer zeitlichen Reihenfolge verknüpft und durch einen Kontext spezifziert werden.

Anwendung und Beispiel

Die Sprache zur Gestenbeschreibung soll Programmierern helfen, Gesten schneller und einfacher zu implementieren. Bereits in der Konzeption einer Anwendung können die Entwickler ihre Gesten formal definieren und diskutieren.
Auch Anwendern kann die formale Beschreibung der Geste verdeutlichen, wie diese auszuführen ist. Ein größeres Potential liegt allerdings darin, Animationen oder Erkärungen auf Grundlage der Formalisierung automatisch zu generieren. Als Beispiel ist eine Spin-Geste mit 3 Fingern gezeigt.

Umsetzung

Die Gestenbeschreibungssprache beruht auf einfachen mathematischen Zeichen und kurzen Wörtern zur Angabe der atomaren Gesten. Für die Spin-Geste werden in der formalen Beschreibung zwei Halte-Gesten (HOLD) mit dem Zeichen für Multiplikation verbunden. Damit wird angegeben, dass sie synchron ausgeführt werden. Das Additionszeichen ergänzt die zeitlich versetzt ausgeführte Linien-Geste (LINE). Zusätzlich wird angegeben, wie die atomaren Gesten ausgeführt werden. In diesem Beispiel werden sie mit einem Finger (1F) ausgeführt. Die atomaren Gesten erhalten eine Angabe, ob sie sich auf Objekte (o) oder die Anwendung (a) beziehen.

Ausblick

Durch die prototypische Implementierung können weitere Untersuchungen erfolgen um die Formalisierung der Syntax und Annotation der Semantik weiter zu entwickeln. Ein weiterer Forschungsschwerpunkt ist die Integration von Feedback- und Feedforward-Mechanismen in ein entsprechendes Framework.

Bildquelle: Ripples - Utilizing Per-Contact Visualizations to Improve User Interaction with Touch Displays, Daniel Wigdor et al., UIST'09, Oct 4-7, 2009

Ansprechpartner: Dietrich Kammer