MultTo-Desk - Ein multi-touch Schreibtisch

Closed Human-Computer Interaction Master Project No Affiliation

Einleitung

Die Mensch Computer Interaktion (HCI, Human Computer Interaction) beschäftigt sich mit der Interaktion von Menschen mit Computern sowie der Usability und der Nutzerfreundlichkeit von Systemen. Die aktuellen Interaktionsparadigmen am Arbeitsplatz werden von Maus und Tastatur dominiert [Bi, Grossman, Matejka, & Fitzmaurice, 2011]. Interaktionen durch Gesten oder durch Multi-Touch-Eingaben, wie bei Smartphones und Tablets, erlauben jedoch eine natürlichere Interaktion [Preim & Dachselt, 2015].

Diese natürlicheren und intuitiveren Interaktionen können durch Multi-Touch-Tische in den Arbeitsplatz integriert werden. Ein solcher Tisch, in Verbindung mit einem Laptop oder Computer ergibt eine erweiterte Arbeitsumgebung, in der die Vorteile von Multi-Touch-Interaktionen, sowie die Vorteile von Maus und Keyboard genutzt werden können. Solche Multi-Touch-Umgebungen haben jedoch noch keine ausreichende technische Reife. Ziel dieser Arbeit ist deshalb, die Exploration geeigneter Hard- und Software anhand eines prototypischen MULTi-TOuch-Schreibtisches (MultTo-Desk).

Zentrale Anforderungen an die Hardware sind dabei eine hohe Stabilität, leichtes Auf- und Abbauen und Transportieren. Der MultTo-Desk soll eine Erweiterung des Arbeitsumfeldes, mit zum Beispiel Smartphone, Laptop und Computer, sein und deshalb mit plattformunabhängiger Software arbeiten und Synchronisierungen zwischen verschiedenen Geräten erlauben. Er soll greifbare Objekte mit Hilfe von Passermarken erkennen (Tangible User Interface) und mögliche Erweiterungen, wie zum Beispiel Gestenerkennung mit dem Microsoft Kinect-Sensor, berücksichtigen. Weitere Anforderungen sind die Kosten gering zu halten und eine leichte Kalibrierung zu ermöglichen. Es werden folgende Zwischenziele angesetzt:

1. Hardware: Konzeption und Bau des MultTo-Desk
2. Software: Konzeption und Implementierung geeigneter Software
3. Evaluation: Konzeption und Umsetzung einer Nutzerstudie

Verwandte Arbeiten

Bestehende Ansätze für Multi-Touch-Tische unterscheiden sich durch die Verfahren zur Erkennung von Multi-Touch-Eingaben. Grob lassen sich die Ansätze wie folgt kategorisieren. Tische mit optischen Verfahren nutzen Projektoren und Infrarotkameras, um das Bild, meist durch Rückprojektion, auf eine abgedunkelte Glasplatte zu werfen und Multi-Touch-Eingaben zu erkennen [Han, 2005].

Dem gegenüber stehen Tische mit LCD/LED Displays und integrierten infrarot Kamera-Sensoren ausgestattet sind, wie zum Beispiel der Samsung Sur40 [Bollhoefer, Meyer, & Witzsche, 2009, Microsoft Surface] oder Produkte von Multitaction (2015). Tische mit optischen Verfahren ermöglichen einfacher größere Flächen, können selbst gebaut und flexibler gestaltet werden und sind deutlich günstiger als Tische mit anderen Verfahren. Deshalb beschäftigt sich diese Arbeit mit dieser Kategorie von Multi-Touch Tischen.

Der Magic Desk [Bi et al., 2011] erweitert den normalen Arbeitsplatz um Multi-Touch-Eingaben. Neben den normalen Interaktionen mit dem Computer werden dem Nutzer auf dem Tisch neben der Tastatur Fenster des Betriebssystems angezeigt, die mit Touch-Eingaben bedienbar sind. Über diese Fenster kann der Nutzer Einstellungen vornehmen. Aufgaben wie das Sortieren von Dateien ist jedoch nicht möglich, da nur einige Einstellungsfenster des Betriebssystems abgebildet werden. Dieser Aufbau ist stark vom Betriebssystem des verwendeten Computers abhängig und schwer auf andere Geräte wie Smartphones oder andere tragbare Geräte übertragbar und entspricht somit nicht den Anforderungen dieser Arbeit.

Der DigitalDesk [Rekimoto & Saitoh, 1999] verbindet die Verarbeitung von digitalen Dokumenten und auf Papier gedruckten Dokumenten. Dieser Aufbau stellt dem Nutzer auf Papier gedruckte Dokumente auch in digitaler Form zur Verfügung, in dem er diese scannt. Im Vergleich dazu beschäftigt sich diese Arbeit mit zeitgemäßeren Anwendungsfällen und benötigt die Synchronisation von mehreren Geräten mit dem Tisch, sodass Aufgaben auf dem Tisch abgearbeitet werden können, die auf den anderen Geräten weniger intuitiv und natürlich funktionieren.

Der Samsung SUR40 ist ein Multi-Touch Tisch, der mit einem Windows Betriebsystem ausgestattet ist. Dieser Tisch funktioniert nicht mit optischen Verfahren und dient als eigenständiges Gerät. Diese Art von Tisch ist für das gemeinsame Arbeiten mehrerer Personen ausgelegt, wie etwa bei Besprechungen im Büro. Als Schreibtisch ist der SUR40 jedoch zu klein und stark vom Betriebsystem abhängig. Ähnliche Geräte gibt es auch von \parencite{multitaction}, diese sind ebenfalls nicht als Schreibtische ausgelegt, sondern für Konferenzräume, sowie für Vorführungen. Die Anforderungen als Schreibtisch hinsichtlich der Größe des Tisches und der Flexibilität der Software, können vom SUR40 nicht erfüllt werden. Die Tische von Multitaction sind deutlich teuerer und nicht als Schreibtisch ausgelegt.

Die smARTbox [Fischbach, Wiebusch, Latoschik, Bruder, & Steinicke, 2012] ist ein Multi-Touch Tisch der mit stereoskopischem 3D Bild ausgestattet ist und auf optischen Verfahren beruht. Jedoch ist die smARTbox für die Verwendung im Arbeitsumfeld wenig geeignet, da die obere Platte nicht stabil genug für das Ablegen von Geräten zur Synchronisation ist und man die smARTbox nur im Stehen bedienen kann.

Aus den Erkenntnissen und Erfahrungen mit der smARTbox und neuen Anforderungen für weitere Einsatzzwecke resultiert diese Arbeit als eine Weiterentwicklung der smARTbox.

Konzept

Der MultTo-Desk ist ein tangible multi-touch Interface, das für die Arbeitsumgebung entwickelt wird. Er soll flexible gestaltet, günstig und leicht transportierbar sein. Die Software soll plattformunabhängig mit verschiedenen Geräten zusammen arbeiten können und mit Hilfe von Passermarken Gegenstände auf der Tischfläche erkennen. Außerdem soll er leicht um weitere Komponenten in Software und Hardware erweiterbar sein. Die Evaluation soll bestätigen, dass einige Aufgaben auf dem Tisch, durch die erweiterten Interaktionsmöglichkeiten als natürlicher und intuitiver vom Nutzer wahrgenommen werden.

Anwendungsfälle (Use Cases)

Im folgenden wird beschrieben, welche Anwendungsfälle in dieser Arbeit implementiert werden sollen. Aus diesen Anwendungsfällen ergeben sich zusätzliche Anforderungen an die Hard- und Software. Die Anwendungsfälle sollen mit Probanden evaluiert werden.

I. Verbinden und Synchronisieren

Der Tisch soll sich möglichst automatisch mit einem Gerät (Laptop oder Smartphone) des Nutzers verbinden. Über kleine Anwendungen, die auf dem jeweiligen Gerät ausgeführt werden, soll der Nutzer Dateien auf den Tisch laden können, um mit diesen zu Arbeiten.

II. Sortieren mit Passermarken

Der Nutzer soll auf dem Tisch Dateien (Bilder oder Emails) sortieren. Dabei greifbare Objekte verwenden werden, um die Dateien zu gruppieren.

III. Dateien Speichern

Mit Hilfe von greifbaren Objekten sollen Dateien auf dem MultTo-Desk gespeichert werden. Dateien, die auf diese Weise gespeichert wurden, lassen sich nur mit Hilfe des richtigen Objekts wieder aufrufen und weiter bearbeiten bzw. teilen.

Hardware

Um die Austauschbarkeit der einzelnen Hardwarekomponenten zu gewährleisten, wird ein modularer Aufbau gewählt. Die technischen Komponenten werden in einen Turm ausgegliedert und der eigentliche Tisch besteht nur noch aus Rahmen, Spiegel und Rückprojektionsglasplatte. Um die Multi-Touch-Eingaben zu erkennen, werden optische Verfahren benutzt. Durch das Verwenden der optischen Verfahren wird eine Kalibrierung benötigt, um das Bild und die Multi-Touch Erkennung korrekt auf die Schreibtischplatte auszurichten.

Komponenten

Der MultTo-Desk wird in zwei Komponenten gegliedert (siehe Abbildung 1). Die eine Komponente ist der Tisch und besteht aus einem Rahmen aus Aluminiumprofilen und einer Tischplatte, die für Rückprojektion geeignet ist und einem Spiegel, der Unterhalb der Glasplatte hängt. Dadurch kann ein Beamer hinter dem Tisch stehen und das Bild über den Spiegel von unten an auf die Glasplatte projizieren. Und die andere Komponente ist der Turm, in dem alle elektronischen Technikkomponenten ausgegliedert sind. Dazu zählen unter anderem ein Projektor, ein Computer, Kameras und Infrarotstrahler. Der Aufbau erlaubt es, weitere Technikkomponenten hinzuzufügen, wie zum Beispiel eine Kinect für Gestenerkennung, Boxen für Sound oder ähnliches. Zu diesem Zweck besteht der Turm aus einzelnen, übereinander angeordneten Modulen, in denen jeweils eine Technikkomponente steckt. Die einzelnen Module des Turms sollen dadurch möglichst schnell und flexibel ausgetauscht oder anders angeordnet bzw. auch erweitert werden können. Durch diesen modularen Aufbau kann der MultTo-Desk außerdem schnell und leicht auf- bzw. abgebaut werden und ist transportierbar. Damit der MultTo-Desk dem Nutzer zum Arbeiten genügend Beinfreiheit gibt, wird der Spiegel in einem möglichst steilen Winkel unterhalb der Tischplatte angebracht.

Abbildung 1: Konzeptzeichnung des MultTo-Desk mit Tisch, Spiegel, Turm, Projektor und Kalibrierungs-Stangen.

Kalibrierung

Der Turm und der Tisch müssen aufgrund der optischen Verfahren (Projektor für Bild und Infrarot Kameras für Toucheingaben) parallel und in einem bestimmten Abstand zueinander stehen. Dafür ist eine Kalibrierung notwendig. Die Kalibrierung soll durch zwei Stangen, als Verbindung zwischen Turm und Tisch, realisiert werden. Die Stangen haben bestimmte Längen und sollen hinten links und rechts am Tisch, sowie vorne links und rechts am Turm angebracht werden. Die Anbringungen der Stangen an Tisch und Turm sollen möglichst wenig Spielraum für Verschiebungen haben. Die beiden Stangen spannen mit der hinteren Tischkante und dem Turm ein Dreieck auf, welches die Winkel und Abstände zwischen Turm und Tisch festlegt. Die Stangen können nach dem Kalibrieren wieder abgenommen werden. Es soll getestet werden, ob die Stangen fest installiert werden, sodass der Abstand auch gewahrt bleibt, wenn der Nutzer den Tisch oder den Turm unbeabsichtigt bewegt.

Diese Konstruktion soll aus einigen kleinen Komponenten bestehen, die schnell auf- und abgebaut werden können, sowie leicht transportiert werden können. Die Schwierigkeit für den Transport besteht darin, die Glasplatte im Ganzen bewegen zu müssen.

Transport und Verpackung

Um den MultTo-Desk zu Transportieren, soll ein Flightcase (siehe Abbildung 2) benutzt werden. Flightcases werden häufig zum Transportieren von PA Equipment, Gitarren oder Bass Amps benutzt. Der MultTo-Desk soll zum Transport in seine Einzelteile zerlegt werden: Der Rahmen des Tisches, die Tischplatte und die einzelnen Module des Turms. Beim Abnehmen der Tischplatte soll der Spiegel an die Tischplatte klappen. Der Koffer soll dann wie folgt beladen werden: Zuerst die Tischplatte in den Boden des Koffers, eine Abdeckung darüber, dann die einzelnen Module des Turms, sowie der zerlegte Rahmen des Tisches. Dadurch sind die Einzelteile gegen Erschütterungen, Kratzer und Stöße geschützt.

Abbildung 2: Darstellung von drei verschiedenen Flightcases.

Software

Durch die grundsätzliche Funktionalität, wie die Multi-Touch Erkennung und durch die Anwendungsfälle, verbinden mit anderen Geräten, ergeben sich einige Anforderungen an die Software des MultTo-Desk.

Funktionalität

Die Software soll die Erkennung von Multi-Touch-Eingaben und die Erkennung von Passermarken, sowie die Kommunikation mit weiteren Anwendungen auf anderen Geräten ermöglichen, sodass einige Aufgaben auf den Tisch ausgelagert werden können. Dafür sollen kleinere Anwendungen implementiert werden, die auf den jeweiligen, zu synchronisierenden Geräten, installiert sind, um eine Verbindung mit dem MultTo-Desk herzustellen. Die Software soll außerdem die Vernetzung mit anderen Geräten vereinfachen und das Rendern von Benutzeroberflächen (UI - Elementen), sowie Animationen und Interaktionen mit UI Elementen bereitstellen, sodass, aufbauend darauf, Anwendungen für den MultTo-Desk implementiert werden können.

Verwendete Software

Es soll das Simulationsframework Simulator X [Latoschik & Tramberend, 2011] verwendet werden. Diese Simulationssoftware bietet einige Schnittstellen mit Hilfe derer Multi-Touch Erkennung, Erkennung von Passermarken und Gestenerkennung realisiert werden können und wurde für Anwendungen im Bereich virtuelle und erweiterte Realität entwickelt. Außerdem soll für die 2D Benutzeroberflächen die Spiel-Engine Unity [R Core Team, 2014] verwendet werden.

Anwendungen für weitere Geräte

Für die Synchronisation mit weiteren Geräten sollen kleine Anwendungen für Smartphones und Laptop implementiert werden. Diese werden mit Hilfe von Node.js (2015), ngCordova (2015), Ionic Framework (2015) und AppJS (2015) implementiert. Auf diese Weise können viele Smartphones und Tablets, sowie Notebooks unterstützt werden.

Evaluation

Eine Studie soll zeigen, ob auf dem MultTo-Desk die Aufgaben der Anwendungsfälle schneller und intuitiver gelöst werden können, als mit traditionellen Methoden. Dafür sollen die festgelegten Anwendungsfälle durch Nutzer auf dem MultTo-Desk sowie mit traditionellen Methoden ausgeführt und danach mit Hilfe des QUESI - Fragebogens [Hurtienne & Naumann, 2010] bewertet und verglichen werden.

##Literatur

Bi, X., Grossman, T., Matejka, J., & Fitzmaurice, G. (2011). Magic desk: bringing multi-touch surfaces into desktop work. In Proceedings of the sigchi conference on human factors in computing systems (pp. 2511–2520). CHI ’11. ACM. doi:10.1145/1978942.1979309

Bollhoefer, K. W., Meyer, K., & Witzsche, R. (2009). Microsoft surface und das natural user interface (nui). Technical report, Pixelpark.

Fischbach, M., Wiebusch, D., Latoschik, M. E., Bruder, G., & Steinicke, F. (2012). Smartbox a portable setup for intelli gent interactive applications. In O. D. Harald Reiterer (Ed.), Mensch & computer workshopband (pp. 521–524). Oldenbourg Verlag.

Han, J. Y. (2005). Low-cost multi-touch sensing through frustrated total internal reflection. In Proceedings of the 18th annual acm symposium on user interface software and technology (pp. 115–118). ACM.

Hurtienne, J. & Naumann, A. (2010). QUESI – A questionnaire for measuring the subjective consequences of intuitive use. In R. Porzel, N. Sebanz and M. Spitzer (Eds.), Interdisciplinary Cullege 2010. Focus Theme: Play, Act and Learn (p. 536). Sankt Augustin: Fraunhofer Gesellschaft.

Latoschik, M. E. & Tramberend, H. (2011). Simulator X: A Scalable and Concurrent Software Platform for Intelligent Realtime Interactive Systems. In Proceedings of the IEEE VR 2011. IEEE.

AppJS. http://appjs.com. Accessed: 2015-11-11.

Ionic - Create incredible apps. http://ionicframework.com. Accessed: 2015-11-11.

Multitaction. http://www.multitaction.com. Accessed: 2015-11-11.

ngCordova - Cordova with the power of AngularJS. http://ngcordova.com/. Accessed: 2015-11-11.

Node.js. (n.d.). https://nodejs.org. Accessed: 2015-11-11.

Preim, B. & Dachselt, R. (2015). Tangible user interfaces. In Interaktive systeme (pp. 629–693). Springer.

R Core Team. (2014). R: a language and environment for statistical computing. R Foundation for Statistical Computing. Vienna, Austria. Retrieved from http://www.R-project.org

Rekimoto, J. & Saitoh, M. (1999). Augmented surfaces: a spatially continuous work space for hybrid computing environments. In Proceedings of the sigchi conference on human factors in computing systems (pp. 378–385). ACM.

Betreuer

M.Sc. Martin Fischbach
Telefon: 0931 31 86314
E-Mail: martin.fischbach@uni-wuerzburg.de

Contact Persons at the University Würzburg