Design und Implementierung einer multimodalen Benutzerschnittstelle für ein MR-Brettspiel

This project is already completed.

#Design und Implementierung einer multimodalen Benutzerschnittstelle für ein MR-Brettspiel

##Abstract In dieser Arbeit wird eine multimodale Schnittstelle für ein Mixed Reality Tabletop Spiel entwickelt. Als Modalitäten werden Sprache und Gestik eingesetzt sowie die Interaktionen mit realen Spieleobjekten wie Spielfiguren und Spielkarten.

##Einleitung Im Laufe der letzten Jahre haben sich die Schnittstellen elektronischer Geräte zunehmend gewandelt. Neben der gängigen Eingabeform von Maus und Tastatur für PCs haben sich Geräte wie Tablets oder Smartphones etabliert, die Eingaben wie Sprache oder (Touch-)Gestik erlauben.

Natürliche Interaktion von Menschen besteht aus einer Mischung verschiedener Modalitäten (Stivers and Sidnell, 2005). Sprache, Gestik, Blick, und umliegende Materialien bilden zusammen Interaktionsmöglichkeiten, mit der der Mensch sich verständigt. Diese natürliche multimodale Interaktion auf elektronische Geräte zu übertragen ist eine Herausforderung für Designer und Entwickler, denn die Interaktion mit Computern soll genau so einfach und natürlich sein. Der Mensch soll den Umgang mit den Geräten nicht erst mühsam lernen und dafür kognitive Kapazitäten aufwenden, sondern sich ganz auf seine eigentliche Aufgabe konzentrieren können. Daher ist eine intuitive, gut geplante multimodale Interaktion ein zentraler Faktor für die Usability.

Eine noch größere Herausforderung ergibt sich, wenn die Interaktion für mehrere Nutzer gleichzeitig möglich sein soll. Verschiedene Aktionen sollen sich nicht behindern und eventuell auch noch den jeweiligen Nutzern zugeordnet werden. Wie Müller-Tomfelde, 2010 beschreibt, sind Tische seit jeher ein zentraler Punkt für die gemeinsame Interaktion und zur Ablage und Ausstellung von Objekten. Sie bieten damit die idealen Voraussetzungen für Brettspiele, die von der Kommunikation, der Interaktion und der gemeinsamen Sicht auf die Spielobjekte leben. Digitale Tische vereinen die Vorteile eines Displays, das aktive Medien zeigen und computergesteuert werden kann, mit den Vorteilen eines Tisches, auf dem Objekte von umstehenden oder sitzenden Menschen bearbeitet werden können. Wie normale Tische bieten digitale Tische dieselben Voraussetzungen für Brettspiele und zudem noch weitere Möglichkeiten.

Für Touch-Geräte gibt es einen großen Markt an Spielen. Wie Stuart Dredge, 2013 berichtet, machen Spiele im iOS App-Store 63% der Einnahmen aus. Das erfolgreichste darunter war 2013 Clash of Clans, ein Real-Time Strategy (RTS) Spiel, in dem man eine Basis errichten und mit Einheiten andere Spieler angreifen kann. In der Kampfphase werden die Einheiten einmal gesetzt und laufen und attackieren dann von alleine. Weitere Befehle sind nicht möglich. Andere RTS-Spiele wie z.B. Amoebattle lassen die Kontrolle von einzelnen oder gruppierten Einheiten zu, sind aber nur für einen Spieler ausgelegt. Auch im Mixed-Reality-Bereich (MR) gibt es bereits einige Ansätze für Spiele. Golem Arcana, ein digital erweitertes Miniaturen Brettspiel, nutzt beispielsweise einen Digitalen Tabletop Interfacestift (DTI) als Eingabegerät anhand dessen eine App Spielregeln überprüfen und Berechnungen durchführen kann. Mit der Objekt-Tracking-Technologie von ePawn, die es erlaubt reale Objekte in eigene Applikationen zu integrieren, wurden ebenfalls diverse Spielumgebungen geschaffen, in denen reale Spielfiguren mit den digital angezeigten Objekten einer Oberfläche interagieren können.
Es existiert also ein Markt für Spiele, jedoch werden neuartige Technologien, vor allem aus dem MR-Bereich, erst vereinzelte umgesetzt und es besteht noch großer Bedarf an Forschung in diesem Bereich.

Ein digitaler Tisch als Zentrum für die Interaktion bietet vielversprechende Möglichkeiten für Spiele. Wie multimodale Interaktion sinnvoll an einem digitalen Tisch genutzt werden kann, wird daher hier im Rahmen eines Mixed Reality Boardgames untersucht und umgesetzt. Bekannte Brettspiel-Interaktionen wie z.B. Karten auslegen oder eine Spielfigur bewegen, werden beibehalten und mit den Möglichkeiten des Multi-Touch-Tisches verknüpft. Dieser übernimmt automatische Berechnungen und die Darstellung grundlegender Elemente. Ein Mixed Reality Boardgame für einen digitalen Tisch wurde auch schon im Projekt XRoads (Fischbach, Zimmerer, Giebler-Schubert, and Latoschik, 2014) umgesetzt.

In dieser Arbeit soll deshalb eine Schnittstelle für ein Mixed-Reality Boardgame basierend auf dem Projekt XRoads (Fischbach et al., 2014) konzipiert und implementiert werden. Ziele der Arbeit im Überblick: Umsetzung von Befehlen mit Sprache und Gestik (uni- und multimodal), insbesondere:

Selektion von Einheiten
Bewegung und Angriff von Einheiten
Komplexere Befehle (z.B. Patrouillieren, Katapultieren)

Besonders zu berücksichtigen ist bei den Interaktionsmodalitäten der Tisch als Interaktionszentrum, der aufgrund seiner Größe und der Reichweite eines Nutzers sowie auf der Oberfläche befindlicher Objekte zusätzliche Anforderungen hat. Aus diesem Grund werden Touch- und Sprachsteuerung kombiniert.

##Verwandte Arbeiten Wie hilfreich multimodale Gesten- und Spracheingabe bei kollaborativer Interaktion mit einem digitalen Tisch ist, wurde von Tse, Greenberg, Shen, and Forlines, 2007 anhand einer Mehrspieler-Umgebung untersucht. In einer weiteren Arbeit wurde wahre multimodale Mehrbenutzer-Interaktion mit einem digitalen Tisch exploriert (Tse, Greenberg, Shen, Forlines, and Kodama, 2008). Als vier Kernprobleme wurden hier das Design multimodaler Befehle, verwirrende Moduswechsel, sich behindernde Personen- und Gruppenbereiche sowie der Zeitablauf bei zusammengeschlossenen multimodalen Befehlen identifiziert. Diese Probleme werden beim Design der multimodalen Schnittstelle beachtet und minimiert. IncreTable (Leitner et al., 2008) ist ein weiteres Beispiel für die Umsetzung eines Mixed Reality Tabletop- Spiels, bei dem virtuelle und reale Domino-Steine gesetzt werden können und zeigt, dass Nutzer die Integration von digitalem Inhalt in echter Umgebung als unterhaltsam und interessant erachten.

Diese Arbeit baut auf XRoads (Cross Reality on a Digital Surface) von Fischbach et al., 2014 auf, einem Projekt an der Universität Würzburg, in dem Interaktionstechniken für interaktive Systeme im Kontext von Tabletop Games untersucht und evaluiert wurden. Als Grundlage wird das VR/AR Framework Simulator X (Latoschik and Tramberend, 2011) verwendet. XRoads ist eine prototypische Umsetzung als Mixed Reality Version des Rollenspiel-Brettspiels Quest - Zeit der Helden, in dem eine Gruppe von Spielern als Helden gegen einen gegnerischen Spieler, den Spielleiter, rundenbasiert kämpft. Sprach-, Gesten- und Touchsteuerung sowie direkte Objektinteraktionen sind möglich. In anschließenden Arbeiten wurden die Verbindung mit ortsabhängigen mobilen Geräte-Applikationen (Zimmerer, Fischbach, and Latoschik, 2014) untersucht sowie bestehende Interaktionsmöglichkeiten evaluiert (Giebler-Schubert, Zimmerer, Wedler, Fischbach, and Marc Erich Latoschik, 2013).

##Konzept Der bisherige Prototyp ist eine nah am Original gehaltene Umsetzung des zugrundeliegenden Brettspiels. Um das zusätzliche Potential eines MR-Brettspiels zu explorieren, sollen die bisher rundenbasierten Spielzüge in ein Echtzeit-Spielgeschehen überführt werden. So werden Wartezeiten der Spieler reduziert, was zu einem dynamischeren Spielerlebnis führen soll. Während die normalen Spieler nur eine Spielfigur zu steuern haben, stehen dem Spielleiter neben seiner Figur zur Verstärkung noch weitere Einheiten zur Verfügung, die er bisher alle einzeln setzen muss. Dies kann ohne Runden eine kognitive Überlastung darstellen, und den Spielleiter in seinen taktischen Entscheidungen beeinträchtigen. Um den Spielleiter zu entlasten ohne die prinzipielle Kontrolle zu nehmen, sollen daher die zusätzlichen Einheiten nur virtuell statt als materielle Figuren dargestellt und von der KI gesteuert werden. Der Spielleiter kann die Einheiten indirekt über eine multimodale Schnittstelle (unimodal per Touch oder Sprache oder multimodal) befehligen. Diese soll so gestaltet werden, dass der Spieler die Einheiten mit möglichst einfachen aber effektiven Befehlen steuern kann. Darüber hinaus werden die bestehenden Schnittstellen überarbeitet und verbessert. Eine detaillierte Ausarbeitung des Spielkonzepts ist auf der zugehörigen Projektseite dargestellt (Barkschat, 2014).

Konzeptionell soll die Interaktion wie folgt umgesetzt werden: Ein Befehl besteht jeweils aus einer Auswahl der Einheiten und die Aktion, die von diesen ausgeführt werden soll. Zunächst werden die verschiedenen Auswahlmöglichkeiten betrachtet. Hier kann unterschieden werden zwischen direkter Auswahl, bei der jede Einheit einzeln angesprochen und ausgewählt wird, und einer indirekten Auswahl nach einem gegebenen Kriterium. Dabei wählt das System alle Einheiten aus, die das Kriterium erfüllen. Mögliche Kriterien sind der Einheitstyp(z.B Nah- oder Fernkämpfer), ein Gebiet oder der bisherige Auftrag. Zusätzlich kann eine Anzahl der gewünschten Einheiten mit angegeben werden. Bekannte Real-Time-Strategy-Spiele wie Warcraft III oder Command&Conquer erlauben auch eine Gruppierung von Einheiten, die gespeichert und später einfach wieder aufrufbar ist. Da die Heldenanzahl auf vier begrenzt ist und die Einheiten des Spielleiters zahlenmäßig nicht zu überlegen sein dürfen, muss untersucht werden, ob eine derartige Gruppenspeicherung auch in diesem Kontext mit wenigen Einheiten relevant ist. Visuelles Feedback, beispielsweise über die Farbe, zeigt dem Spieler an, welche Einheiten seinem nächsten Befehl Folge leisten werden.

Ist eine Einheit ausgewählt, erfolgt der Aktionsauftrag, der einfach oder mehrstufig sein kann. Der grundlegendste Befehl ist die Bewegung. Ist eine Einheit nicht in Reichweite der auszuführenden Aktion, so muss vorher immer erst die Bewegung erfolgen. Um das Management der Einheiten zu erleichtern, werden diese mehrstufigen Schritte mithilfe einer Planungskomponente des Systems ermittelt und automatisch durchgeführt.

Folgende Aktionen sollen möglich sein:

Attacke + Gegner: (Bewegung in Reichweite), Angriff auf Gegner
Bsp.: ”Attackiere die Magierin”
Verteidigung + Zielpunkt/Einheit: (Bewegung an Position), Warten auf Gegnerkontakt, Kontakt -> Attacke
Bsp.: ”Verteidige die Schmiede”, ”Verteidige diesen Späher”
Patrouille + Zielgebiet: (Bewegung in das Zielgebiet), Prüfe Gebiet auf Gegner, Gegner -> Attacke, sonst -> Bewegung im Gebiet
Ausschwärmen: Bewegung in Richtung des aktuell nächsten Gegners bis zum Kontakt
Eroberung + Zielpunkt: (Bewegung in Reichweite), Eroberung des Punktes, Falls Gegner gerade erobert -> Attacke
Bsp.: ”Erobere die Schmiede”
Katapultieren: Bewegung zum Katapult, Erobern (wenn nötig), Abfeuern des Katapults (wenn Munition vorhanden)

Symbole bei oder auf den beauftragten Einheiten können Feedback für den Spieler geben, sodass bei jeder Einheit auf den ersten Blick der aktuelle Status erkennbar ist. Ein Abbruch einer Aktion sollte sowohl während der Befehlsgabe als auch hinterher möglich sein. Ein häufiges Problem bei solchen Angriffsbefehlen ist, dass Einheiten in Reichweite mögliche nachfolgende Einheiten außerhalb deren Angriffsreichweite behindern. Als intelligentes System muss für die Bewegung also die ganze Gruppe betrachtet und bei der Positionierung berücksichtigt werden.

In populären RTS-Spielen erfolgt die Auswahl der Einheiten per Klick oder Tap auf eine Einheit oder durch Umrandung der Einheiten mit einer Auswahlbox (Drag and Drop für die Ecken eines Rechteckes mit der Maus) oder Auswahlform (Drag bei Touch-Geräten). Auch ein Doppelklick auf eine Einheit zur Auswahl aller Einheiten ist eine gängige Lösung. Aus diesem Grund werden auch in dieser Anwendung zur Auswahl der Einheiten hauptsächlich Taps und Doubletaps verwendet. Die hier geplanten Gesten sind in Abbildung 1 zu sehen.

Für die Spracherkennung sind kurze, prägnante Befehle am sichersten. Um Einheiten einzeln auswählen zu können, benötigen diese eine eindeutige Kennung, beispielsweise durch eine ID, welche auch auf dem Display angezeigt wird.

Tabelle 1 zeigt die Interaktionen im Überblick, aufgeteilt in Sprach- und Gesteninteraktion. Alle Befehle bei dieser Umsetzung sollen einzeln unimodal möglich sein. Dadurch ist gewährleistet, dass in der multimodalen Lösung auch bei Wegfall einer Modalität stets alle Aktionen möglich sind. Durch die Multimodalität kann der Spieler zum Beispiel Einheiten per Sprache auswählen und übergangslos per Touch zu einem bestimmten Punkt schicken.

Tabelle 1: Kommandos des Questmeisters zur kontrolle seiner Truppen.

##Evaluation Sofern der zeitliche Rahmen dieser Arbeit es erlaubt, ist nach der Implementierung eine Nutzerstudie geplant, die das Ergebnis der Anwendung und der multimodalen Interaktion evaluiert. Hauptaugenmerk wird dabei auf die Erhebung der Daten über die Zufriedenheit der Nutzer und die Schwierigkeit/Leichtigkeit der Interaktion gelegt.

##Literatur

Barkschat, B. (2014). Xroads quest 2.0 - spielkonzept. http://win9148.informatik.uni-wuerzburg.de/hci/simxxroads/wikis/concept-v2

Fischbach, M., Zimmerer, C., Giebler-Schubert, A., & Latoschik, M. E. (2014). Demo exploring multimodal interaction techniques for a mixed reality digital surface. In Ieee international symposium on mixed and augmented reality ismar.

Giebler-Schubert, A., Zimmerer, C., Wedler, T., Fischbach, M., & Marc Erich Latoschik. (2013). Ein digitales tabletoprollenspiel für mixed-reality-interaktionstechniken.

Latoschik, M. E. & Tramberend, H. (2011). Simulator X: A Scalable and Concurrent Architecture for Intelligent Realtime Interactive Systems. In 2011 ieee virtual reality (vr) (pp. 171–174). doi:10.1109/VR.2011.5759457

Leitner, J., Haller, M., Yun, K., Woo, W., Sugimoto, M., & Inami, M. (2008). Incretable, a mixed reality tabletop game experience. (pp. 9–16). 1394457: ACM. doi:10.1145/1501750. 1501753

Müller-Tomfelde, C. (2010). Tabletops: horizontal interactive displays. Human-computer interaction series. London: Springer.

Stivers, T. & Sidnell, J. (2005). Introduction: multimodal interaction. doi:10.1515/semi.2005.2005.156.1

Stuart Dredge. (2013). Clash of clans is 2013’s most lucrative gaming app, data shows: the latest analysis of apps usage chart the growth of games, android, asian users - and bitstrips. Retrieved from http://www.theguardian.com/technology/2013/dec/18/androidios-app-revenues-research

Tse, E., Greenberg, S., Shen, C., & Forlines, C. (2007). Multimodal multiplayer tabletop gaming. Comput. Entertain. 5(2).

Tse, E., Greenberg, S., Shen, C., Forlines, C., & Kodama, R. (2008). Exploring true multi-user multimodal interaction over a digital table. (pp. 109–118). 1394457: ACM. doi:10.1145/1394445.1394457

Villamor, C., Willis, D., & Wroblewski, L. (2010). Touch gesture: reference guide.

Zimmerer, C., Fischbach, M., & Latoschik, M. E. (2014). Fusion of mixed reality tabletop and location-based applications for pervasive games. In Proceedings of the 2014 acm international conference on interactive tabletops and surfaces. ACM.

Betreuer

M.Sc. Martin Fischbach
Telefon: 0931 31 86314
E-Mail: martin.fischbach@uni-wuerzburg.de

Contact Persons at the University Würzburg

Martin Fischbach (Primary Contact Person)
Mensch-Computer-Interaktion, Universität Würzburg
martin.fischbach@uni-wuerzburg.de