Implementierung und Integration eines Augmented Transition Networks in eine VR/AR Softwareplattform

Closed Human-Computer Interaction Computer Science Bachelor Thesis No Affiliation

Die WIMP-Metapher ist ein häufig verwendetes Konzept zur Gestaltung graphischer Benutzerschnittstellen für Computer. So setzen die führenden Hersteller von Betriebsystemen für Desktop-Rechner Metaphern ein, die auf Fenstern, Menüs, Symbolen und Zeigern basieren. Geräte wie Maus und Tastatur bieten hierbei sinnvolle Eingabemöglichkeiten. Bei Geräten wie Smartphones oder Tablets hingegen werden andere Schnittstellen verwendet. Die Anforderungen an mobile Geräte unterscheiden sich zu denen des typischen Arbeitsplatzrechners, so dass die WIMP-Metapher sich ungeeignet erweist. Die Interaktion durch sog. Touch- und Wisch-Gesten stellt eine optimalere Lösung dar. Konzepte in denen Sinnesmodalitäten des Menschen explizit bei der Entwicklung einer Schnittstelle berücksichtig wurden, bieten häufig, auf den Menschen natürlicher wirkende, Interaktionsmöglichkeiten. Bereits 1980 stellt Bolt eine Anwendung vor, mit der sowohl durch Sprache als auch durch Gesten multimodal interagiert werden konnte. Heutzutage sind verschiedene Modalitäten auch im Konsumerbereich weit verbreitet. Jedoch werden sie hier meist einzeln (unimodal) eingesetzt. Neben Smartphones/Tablets, werden auch im Bereich von Videospielen neue Arten der Interaktion bereitgestellt, wie z.B. durch Microsofts Gestenerkenner Kinect. Durch den technischen Fortschritt steigen die Anforderungen an Benutzerschnittstellen von Systemen.

Umso wichtiger werden im Bereich der Softwareentwicklung Methoden zur Realisierung solcher Interaktions-Metaphern und deren Kombination (multimodale Fusion) als Benutzerschnittstelle zu Anwendungen. Eine dieser Methoden, das Augmented Transition Network (ATN), stellt W.A. Woods 1970 vor. Durch den rekursiven Aufbau des ATN ist es besonders zur Analyse von natürlicher Sprache geeignet. Des Weiteren lässt es sich zur Steuerung von Anwendungslogik, ähnlich einem Zustandsautomaten, nutzen und kann ebenfalls zur multimodalen Fusion verwendet werden. Bis Heute ist das ATN ein nützliches Tool in Bereichen der Künstlichen Intelligenz(KI).

Neben der Umsetzung ist die Integration in ein konkretes interaktive Echtzeitsysteme (Realtime Interactive Systems) ein wichtiger Punkt. Ein solches Framework ist Simulator X (Latoschik und Tramberend, 2011), das aufgrund der tiefgreifenden semantischen Annotation aller Architekturelemente besonders zur Integration von Methoden aus dem KI-Bereich geeignet ist.

Aufgabenstellung

• Konzeption und Implementierung eins Augmented Transition Network
• Integration in Simulator X
• Entwurf einer DSL zur Beschreibung von ATNs
• Erstellung eines Debug-Werkzeugs

Literatur

Contact Persons at the University Würzburg