Multimodal Interface for a Mixed Reality Boardgame

Closed Human-Computer Interaction Computer Science Bachelor Thesis No Affiliation

Das XRoads Projekt setzt das Rollen-/Tabletop-Spiel Quest - Zeit der Helden in einer cross-reality Version um. Die aktuelle Implementierung umfasst ein Kampfszenario, welches über verschiedene Eingaben gesteuert werden kann:

• Die Spielfiguren und Spielkarten werden als reale Objekte zur Verfügung gestellt
• Aktionen wie Angriffe können über Touchinteraktionen aktiviert werden (siehe Abbildung)
• Zur Bestimmung des Siegers eines Kampfes wird in der aktuellen Version ein virtueller Würfel geworfen:
  • Dies kann über Touchinteraktion oder
  • Über eine Würfelgeste oberhalb des Gestensensors (Leap Motion) erfolgen

Zielsetzung

Dieser Stand wird im Verlauf der Arbeit um ein multimodales Interface zur Steuerung des Spielgeschehens über eine Kombination von Gesten- bzw. Touchinteraktion und Spracheingabe erweitert. Dies ermöglicht den Einsatz von neuen Spielmechaniken und Strategien, wie z.B. kooperative Aktionen, die durch die Kombination der oben genannten Eingaben, im gemeinsamen Interaktionsraum des mixed-reality Boardgames besser koordiniert werden können. Des Weiteren können Probleme, die bei der Touchinteraktion auftreten verbessert werden. Beispielsweise erschwert die Verdeckung des Ringmenüs durch andere Spielfiguren (vgl. Abbildung) die Auswahl der entsprechenden Aktion über Touch. Durch eine Auswahl per Sprache kann dieses Problem umgangen werden. Außerdem kann die Spracheingabe zum einen dazu verwendet werden, um die Robustheit der Erkennung zu erhöhen, indem sie bei Gesten, die theoretisch allein aufgrund ihrer Ausführung erkannt werden könnten, zusätzlich als redundante Information eingesetzt wird. Zum anderen kann die Spracheingabe komplementär eingesetzt werden, d.h. bei gleichen Gesten ist die Information der Sprache nötig, um die korrekte Aktion zu erkennen.

Ein beispielhafter Einsatzbereich im Spiel sieht folgendermaßen aus:

• Komplementärer Einsatz von Sprache und Touch-Geste
  • Intention Wirken eines Feuerballs auf einen bestimmten Gegner
  • Interaktion Der Spieler führt eine Bewegung auf dem Touchscreen in Richtung des Gegners durch (Selektion) und ruft “Feuerball” (Festlegung der Aktion)
• Redundanter Einsatz von Sprache und Touch-Geste
  • Intention Abwehren eines Zaubers (z.B. Feuerball)
  • Interaktion Der Spieler führt eine Wischbewegung vom Charakter zur Seite aus (Festlegung der Aktion) und ruft “Abwehren” (Festlegung der Aktion)

Die Implementierung der Gesten und Sprachsteuerung wird auf Grundlage des multimodal in- teraction processing toolkits miPro (Latoschik und Fischbach, 2014) erfolgen.

Aufgabenstellung

• Einarbeitung in die bestehende Spracherkennungskomponente
• Verwendung der miPro-Komponente zur Feature-Extraktion und Fusion der multimodalen Eingaben
• Optional: Erstellung einer abstrakten Testumgebung für ein figuren-basiertes Echtzeit-Strategiespiel
• Integration der multimodalen Eingabeverarbeitung in die bestehende Quest-Umsetzung oder in die abstrakte Testumgebung
• Umsetzung beispielhafter Interaktionen

Betreuer

M.Sc. Martin Fischbach
Telefon: 0931 31 86314
E-Mail: martin.fischbach@uni-wuerzburg.de

Contact Persons at the University Würzburg