FuseMM: Vergleich Multimodaler Integrationsstrategien

Closed Human-Computer Interaction Computer Science Master Project Thesis No Affiliation

Background / Hintergrund

Am Lehrstuhl für Mensch-Computer-Interaktion existieren zwei Systeme für die Integration multimodaler (insbesondere sprachgestischer) Eingaben für interaktive Systeme:

1. tATN: Ein Übergangsnetzwerk mit Kantenfunktionen und zeitliche Relationen.
2. fUnify: Ein Chart-Parser mit einer zentral erweiterbaren Unifikationsoperation (s.u.).

Darüber hinaus wird mit miPro ein Framework zur Umsetzung und Verbindung verschiedener multimodaler Verarbeitungsschritte entwickelt. Bisher ist das tATN an miPro angeschlossen, fUnify ist momentan in einer eigenständigen Version realisiert. Beide Integrationsverfahren haben ihre Funktionsweise bereits unter Beweis gestellt. Ein Vergleich der beiden Verfahren wurde bisher nicht realisiert, so dass eine Auswahl des “besten” Verfahrens für einen gegebenen Einsatzzweck erschwert wird.

Task / Aufgabenstellung

Ziel der Arbeit ist eine Evaluation zwischen den beiden Integrationsverfahren tATN und fUnify. Je nach konkreten Vorkenntnissen und Ausgestaltung der Arbeit werden dabei folgende Schritte notwendig:

• Ausarbeitung einer Evaluationsstrategie, z.B. als Fokusgruppeninterviews.
• Anforderungsanalyse an einen Testcorpus mit Daten und dessen Erhebung.
• Einarbeitung in miPro, das tATN und fUnify (ggf. bereits in den Pflichtkursen HCI erfüllt).
• Anschluss von fUnify an miPro.
• Durchführung der Evaluation.

Prerequisites / Voraussetzungen

• Multimodale Schnittstellen oder vergleichbar, etwa Sprachverarbeitung oder Einf. in die Computerlinguistik (notwendig)
• Java und/oder Scala (notwendig)
• Machine Learning (hilfreich)
• RIS (hilfreich)

Ansprechpartner

Prof. Marc Erich Latoschik, MCI, Universität Würzburg, marc.latoschik@uni-wuerzburg.de

Contact Persons at the University Würzburg