Omni Directional Pillar

Closed Human-Computer Interaction Computer Science Master Thesis No Affiliation

Zusammenfassung

Omni Directional Pillar ist eine rechteckige Säule, ausgestattet mit je einem stereoskopischen Bildschirm pro Seite. Interaktion mit dieser Säule soll mittels Touch und Gestik möglich. Durch mehrere Kinect für Windows v2 Sensoren werden Position und Bewegung der Benutzer erfasst. Beide Interaktionsmethoden werden in der Anwendung des virtuellen Showrooms vereint. Die Interaktion mit dieser Anwendung wird mit einer Nutzerstudie evaluiert.

1. Einleitung

Omni Directional Pillar ist ein Interaktionskonzept in der Form einer rechteckigen Säule. Sie ist mit vier stereokopischen Bildschirmen mit Multi-Touch Funktionalität ausgestattet. Zudem sind mehrere Kinect für Windows v2 Sensoren verbaut, die Personen rund um die Säule erfassen. Im Rahmen dieser Arbeit wird ein virtueller interaktiver Ausstellungsraum innerhalb der Säule geschaffen. Dem Benutzer wird es ermöglicht mit Touch und Gestik mit dem ausgestellten Produkten zu interagieren.

2. Stand der Technik und Forschung

Der Hardware Aufbau des Omni Directional Pillars ähnelt dem eines Public Display oder einer Digital Signages. Ein Großteil der Installationen beider Arten sind heutzutage hauptsächlich nicht interaktiv.

Nutzer erwarten nicht, dass sie mit solchen Systemen interagieren können (Valli, 2008). Ebenfalls besitzen Benutzer kein vordefiniertes Interaktionskonzept für solche Geräte. Deswegen muss das System die Interaktivität hervorheben und veranschaulichen, wie ein Benutzer interagieren kann. Der Autor geht des weiteren davon aus, dass Public Displays und Digital Signages meist auf Fluren oder in Foyers platziert sind. Ein großer Teil der Nutzerschaft wird somit für die Interaktion mit dem System nicht sehr viel Zeit erübrigen. Somit sollte die Interaktion natürlich sein, um etwaige Erklärungen der Interaktionsmethode kurz gestalten zu können.

Chen et al., 2009 analysiert die Aufmerksamkeit von Passanten für eine solche Installation. Mit bewegten Bildern kann versucht werden, mehr Personen auf das System aufmerksam zu machen. Melodien oder Töne sind selten geeignet, da ein Großteil der Personen, die ein solches System nicht wahrnehmen entweder telefonieren oder Musik hören.

Nach den Erkenntnissen von Jurmu, Ogawa, Boring, Riekki, und Tokuda, 2013 wechseln Nutzer, ohne extrinsische Motivation, nur selten die Interaktionsmetapher. Dies kann im Fall des Pillars kritisch werden, da ein Nutzer explizit mit Gestik und Touch interagieren soll. Des weiteren haben die Autoren beobachtet, dass Nutzer von einem großen Erfassungsgebiets vor der Installation verwirrt werden. In diesem Fall bezweifeln sie, dass die Aktionen des Systemes von ihren Handlungen auslöst werden.

3. Konzept

Im Folgenden wird der Funktionsumfang und das Konzept des virtuellen Showrooms erläutert. Die Produkte, welche in der Säule präsentiert werden, werden für bis zu vier Benutzer stets perspektivisch korrekt dargestellt. Verbunden mit der stereoskopischen Darstellung entsteht der Eindruck, dass der Ausstellungsraum in der Säule liegt.

Mittels verschiedener Gesten kann der Benutzer mit dem Ausstellungsraum interagieren und das Produkt genauer betrachten. So kann der Nutzer das Produkt mit einer Geste aus dem Ausstellungsraum heraus nehmen und mit einer anderen in diesem ablegen. Innerhalb des Ausstellungsraumes kann das Objekt mit verschiedenen indirekten Gesten modifiziert werden. Beispielsweise kann mittels einer kreisenden Hand Bewegung um eine der drei Raumachsen das Produkt um die jeweilige Achse rotiert werden. Außerhalb des Ausstellungsraumes (vor der Bildschirmebene) kann das Produkt mit direkten Gesten modifiziert werden. Sobald der Benutzer das Objekt mit zwei Händen berührt kann dieses skaliert und rotiert werden. Das System soll stets Rückmeldung über die aktuell erkannte Geste geben. Eine detaillierte Erläuterung der geplanten Gesten kann im Anhang, in Abschnitt A, gefunden werden.

Der Benutzer kann mit Touch-Eingaben auf den Bildschirmen verschiedene Kontextmenüs öffnen und das präsentierte Objekt manipulieren. Durch diese Metapher kann beispielsweise zwischen verschiedenen Produkten, Farben oder ähnliche Eigenschaften gewählt werden. Ein virtueller Agent sollte die Aufmerksamkeit vorbei laufender Personen auf die Säule ziehen. In einer weiterführenden Arbeit könnte gestelltes Verkaufsgespräch zwischen dem Agenten und dem Benutzer implementiert werden. Alternativ kann dieser Agent auch dem Benutzer als Interaktionspartner dienen und diesen über die aktuell detektierten Gesten informieren. Als Hintergrund des Ausstellungsraumes wird ein Photo gewählt. Dieses zeigt, perspektivisch korrekt, was der Benutzer sehen würde, wenn die Säule durchsichtig wäre.

4. Evaluationsmethode

Als Evaluierungsmethode ist geplant, mehrere Benutzer mit der Anwendung interagieren zu lassen. Anschließend werden subjektive Daten erhoben, beispielsweise wie leicht die Interaktion gelang oder wie zufrieden sie mit der Steuerung waren. Denkbar ist zum Einen ein vorgegebener Interaktionspfad (z.B.: Hohlen Sie das Produkt aus dem Ausstellungsraum. Vergrößern Sie es jetzt auf das doppelte der ursprünglichen Größe…). Andererseits ist denkbar, dass Benutzer Aufgaben ohne weitere Instruktionen lösen müssen (z.B.: Was steht auf der Unterseite von Produkt A?).

Anhang

A. geplante Gesten

Sämtliche Gesten können in zwei Kategorien unterteilt werden. Direkte Gesten, bei denen der Benutzer das Objekt anfasst und Manipulationen durchführt und indirekte Gesten, die das Produkt ohne direkten Kontakt modifizieren. Alle Gesten sollten vor dem Torso ausgeführt werden.

| geplante Gesten | Aktion | teaser: tasks: sws-booking: | — | — | | Pull (ausgestreckte(r) Arm(e) auf Brust zu bewegend) | Objekt aus dem Ausstellungsraum heraus nehmen | | Push (siehe Pull, nur umgekehrte Richtung) | Objekt im Ausstellungsraum abstellen | | Rotation (Hand und Unterarm um eine Raumachse kreisend) | Objekt im Ausstellungsraum um spezifizierte Achse drehen | | Wipe* (von Links nach Rechts (oder umgekehrt) wischen) | nächstes Produkt/Option einer Eigenschaft wählen | | Wipe* (von Unten nach Oben (oder umgekehrt) wischen) | Produkt auf Hebebühne hoch oder runter fahren | | direkte Manipulation (Objekt greifen und drehen/skalieren) | Produkt wird entsprechend gedreht oder skaliert |

* optionale Geste

In der obigen Tabelle sind die geplanten Gesten aufgeführt. Je nach Erkennungsrate des Kinect für Windows v2 Sensors wird vorbehalten, Gesten gegebenenfalls auszutauschen. Für den Fall, dass nicht ausgeführte Gesten erkannt werden, wird unter Umständen eine weitere Modalität der Gesteneingabe hinzugefügt. So kann beispielsweise ein Sprachbefehl oder ein Knopfdruck zur Aktivierung der Gestenerkennung dienen. Für den Fall, dass der Bereich der Gestenerfassung nicht bis zur Bildschirmebene reicht, muss eventuell auf direkte Manipulation verzichtet werden.

Literatur

Chen, Q., Malric, F., Zhang, Y., Abid, M., Cordeiro, A., Petriu, E. M., & Georganas, N. D. (2009). Interacting with digital signage using hand gestures. In Proceedings of the 6th international conference on image analysis and recognition (pp. 347-358). ICIAR ‘09. Halifax, Nova Scotia, Canada: Springer-Verlag. doi:10.1007/978-3-642-02611-9 35

Jurmu, M., Ogawa, M., Boring, S., Riekki, J., & Tokuda, H. (2013). Waving to a touch interface: descriptive field study of a multipurpose multimodal public display. In Proceedings of the 2nd acm international symposium on pervasive displays (pp. 7-12). PerDis ‘13. Mountain View, California: ACM. doi:10.1145/2491568.2491571

Valli, A. (2008, July). The design of natural interaction. Multimedia Tools Appl. 38(3), 295-305. doi:10.1007/s11042-007-0190-z

Betreuer

Prof. Dr. Marc Erich Latoschik
E-Mail: marc.latoschik@uni-wuerzburg.de

M.Sc. Martin Fischbach
E-Mail: martin.fischbach@uni-wuerzburg.de

Contact Persons at the University Würzburg