Feedback of a Virtual Coach in an Immersive Rehabilitation Application

Closed Human-Computer Interaction Bachelor Thesis No Affiliation

1. Motivation / Ziele

Das Knie ist eines der wichtigsten Gelenke im menschlichen Körper, wenn es um Mobilität geht. Deshalb ist eine Knieverletzung für den Betroffenen, häufig Sportler, meist eine große Einschränkung und soll möglichst schnell und ohne bleibende Schäden kuriert werden. Für eine schnelle Genesung ist die gewissenhafte und regelmäßige Durchführung von muskelstärkenden Rehabilitationsübungen essentiell, womit die Motivation des Patienten zum zentralen Punkt des Genesungsverlaufs wird [1].

Eine Limitierung des Genesugsfortschrittes ist somit meist fehlende Motivation und Langweile des Patienten, sowie Unsicherheit bei der eigenständigen Übungsausführung. Eine negative Korrelation zwischen Übungen, die über einen längeren Zeitraum regelmäßig durchgeführt werden müssen und der Motivation der Patienten konnte bereits Kinne [2] nachweisen. Der Physiotherapeut übernimmt während der Rehabilitation die Rolle des Trainers, als der er den Patienten motiviert und anleitet. Allerdings kann er diese Rolle nicht ausüben, während der Patient eigenständig zu Hause die Übungen durchführt, was zu einer geminderten Motivation oder falscher Durchführung der Übungen führen kann [1]. Somit ist die Eigenmotivation des Patienten und ein gutes, vor allem eigenständiges, Training, was durch einen Trainer gefördert wird unerlässlich für eine optimale Genesung.

Aus bisheriger Forschung ist bereits bekannt, dass die vollständige Immersion in einer virtuellen Welt den Nutzer komplett in eine andere Szene versetzten kann, die er vorübergehend als seine echte Realität akzeptiert [21]. Hier stellt sich also die Frage, ob ein virtueller Trainer in einer virtuellen Welt die selben positiven Effekte erzielen kann, wie ein echter Trainer. Hierzu finden sich bereits einige wenige Forschungsarbeiten, die sich mit den Vorteilen eines virtuellen Trainers(Embodied Agent) befasst haben^1, welche nahelegen, dass EA durchaus einen positiven, Motivation fördernden Effekt haben. Bis jetzt gibt es allerdings noch keine aussagekräftigen Arbeiten darüber, wie ein EA sich in der virtuellen Welt verhalten und welche Art von Feedback er idealerweise geben sollte. Insbesondere gibt es keine Vergleichsstudien, die die Auswirkungen und Akzeptanz unterschiedlicher Kommunikationskanäle (visuell, auditiv) genauer betrachten. Mit passendem Feedback könnte Training in VR (Virtual Reality) sowohl eine sinnvolle Ergänzung zur konventionellen Physiotherapie, als auch eine Möglichkeit für Fitness zu Hause sein. In dieser Studie soll untersucht werden, ob die Güte des Feedbacks eines virtuellen Trainers(Embodied Agent) von den genutzten Kommunikationskanälen und der Echtzeit-Personalisierung des Feedback beeinflusst wird.

2. Forschungsstand / Vorarbeiten

Motivation in allen Aspekten wird bereits seit mehreren Jahrzehnten untersucht, mit der Folge, dass bereits eine recht detaillierte Unterscheidung in die einzelnen Bereiche möglich ist. Generell wird zwischen extrinsischer (von außen kommender) und intrinsischer (von innen kommender) Motivation unterschieden [4].

Darüber hinaus ist bekannt, dass sich im Sport die Beziehung zwischen Trainer und Trainierendem stark auf das Selbstbewusstsein und die Motivation letzterens auswirkt [5].

Das gilt nicht nur für den Freizeit- und Leistungssport, sondern auch für Gesundheitstraining, wie etwa physiotherapeutische Übungen im Zuge einer Rehabilitationsphase. Da VR-Technologie bereits so weit erforscht ist, dass man um die Stärken einer vollständigen Immersion weiß, gibt es mittlerweile mehrere Ansätze diese Technologie für medizinsiche Zwecke sinnvoll zu nutzen. Vor allem für Patienten, die nach einem Schlaganfall wieder neu Laufen lernen müssen, gibt es bereits einige Systeme, deren Vorteile in Feldstudien bereits belegt werden konnten [18,19.20]. So haben Hamzeheinejad et al. [6] mithilfe ihres System, in dem Schlaganfallpatienten auf einem Cross-Trainer laufen, während sie durch ein HMD(head mounted display) eine virtuelle Landschaft sehen, zeigen können, dass die Probanden in der VR-Bedingung besser abschnitten und mehr Spaß hatten, als jene in der Nicht-VR-Bedingung.

Da bekannt ist, dass ein Trainer ein wichtiger Teil sportlicher Leistung ist, gab es bereits mehrere Versuche, auch in VR einen virtuellen Coach einzubinden. In Cassell [7] wird eine derartige Instanz als Embodied Agent(EA) bezeichnet, der eine Art graphische Schnittstelle ist, die menschenähnliche Bestandteile (Körper, Gesicht) enthält. Ein EA kann ebenso verbales, wie nonverbales Feedback geben, um die Interaktion zwischen System und Nutzer zu verbessern. Er soll ein effektives Mittel für das eigenständige Training des Nutzers darstellen, indem die Vorteile beider Modalitäten vereint werden: ein persönlicher Coach und ein computerbasieres System [1]. Im Review von Gago-Masague [1] sind die Aufgaben eines EA wie folgt definiert:

• Eine Übung einführen und erklären
• Eine Übung mit dem Trainierenden zusammen ausführen
• Korrigierendes Feedback geben, wenn nötig
• Auftreten und Konversationskanäle anpassen, wenn nötig
• Den Trainierenden ermutigen

Einen der ersten EA entwickelte Babu et al. [8], wobei es sich um einen Trainer auf einem PC-Bildschirm handelte, der eine Übung einleitend vorführt und erklärt, während der Ausführung des Trainierenden diese überwacht und nach Abschluss verbales und nonverbales Feedback gibt. In der Studie von Dancu [9] wurden sowohl der EA, als auch der Patient in der virtuellen Umgebung mit ihrem ganzen Körper dargestellt, sodass Letzterer während der Übungsausführug jederzeit nochmals die Übung beim Trainer abschauen konnte. Zusätzlich gab der EA echtzeit Feedback, um die Übungsausführung des Patienten zu verbessern. Besonders hilfreich und sinnvoll wird ein Embodied Agent dann, wenn der Nutzer eine komplexe Übung ausführen muss, wie etwa eine Handrotation. Der Nutzer kann so die Bewegung zuerst beim Trainer genau anschauen und dann während der Übung jederzeit erneut seine Ausführung mit einem Blick auf den EA validieren [9]. Bei Watson et al. [10] gaben Probanden an, dass sie, unabhängig von der Art des Feedbacks, mit Feedback motivierter waren als ohne. Nachdem in mehreren Studien bereits die Frage, ob ein Trainer, der Feedback zur Ausführunng gibt sinnvoll ist, mit einem ja beantwortet werden konnte [15,16,17], bleibt letztlich noch die Frage, welche Art von Feedback die besten Resultate erzielt.

Für das Feedback stehen verschiedene Kommunikationskanäle zur Verfügung, wie etwa Sprache, visuelles Feedback, Mimik oder Gestik des EA. Klaassen [11] und Fasola [12] konnten in ihren Studien bereits zeigen, dass ein kombiniertes Feedback aus Sprache und visuellen Daten meist besser von Nutzern verstanden wird, als bei der exklusiven Nutzung einer der beiden Kommunikationskanäle. Des Weiteren ist bekannt, dass verschiedene Sprechrhythmen, Intonation und die Stimmung des virtuellen Trainers einen Einfluss auf die Motivation des Nutzers haben können [13,14].

Da allerdings noch eine Untersuchungen vorliegen, die sich mit der Wahl des Kommunikationskanals, sowie der allgemeinen Gestaltung des Feedbacks, befassen, soll diese Lücke mit der entstehenden Arbeit gefüllt werden.

3 Hypothesen

Aus dem Kontext der bisherigen Forschunngsarbeiten um EA ergibt sich die offene Forschungsfrage:

• F1. Hat datengestütztes Feedback (im direkten Vergleich zu random Feedback) einen Einfluss auf das Erleben und Verhalten eines Nutzers in VR?

4. Konzepte / Methodik

Zuerst wird ein Trainer entwickelt, der dann in ein bereits vorhandenes Trainingssystem eingebaut wird. Die Wirksamkeit des implementierten Trainers (vor allem des unterschiedlichen Feedbacks) und die Beantwortung der Forschungsfrage soll in einer repräsentativen Nutzerstudie untersucht werden.

4.1 Anwendung

Als Grundlage der Arbeit dient ein Prototyp einer VR-Anwendung für Knie-Rehabilitation: ILAST. In ILAST unterstützt ein Coach den Nutzer in seinem Training, indem er zu Beginn jeder Übung die jeweilige erklärt und vormacht. Im Rahmen dieser Arbeit soll der bereits vorhandene Coach modifiziert und weiterentwickelt werden. Der überarbeitete Trainer soll verschiedene Animationen beinhalten, um unterschiedliches Feedback mit entsprechender Gestik zu unterstützen. Des Weiteren werden Anweisungen, Bekräftigungen und andere verbale Interaktionen des Trainers als Audio aufgenommen. Damit datengestütztes Feedback durch den Trainer erfolgen kann werden zudem einige Daten aus den Bewegungen des Nutzers ausgelesen und als Grundlage für Feedbackentscheidungen vewendet.

Aufgrund gemessener Daten (Dauer einer Übungsdurchführung, Winkelmessung Knie, u.ä.) können Aussagen über die Güte und Korrektheit der Ausführung des Nutzers getroffen werden, sodass der Coach ein gezieltes Echtzeit-Feedback geben kann, das die Ausführung des Nutzers verbessern und seine Motivation steigern soll.

4.2 Studiendesign

Die Studie wird als In-between-groups Experiment durchgeführt, damit durchläuft jeder Proband jeweils nur eine der drei Bedingungen (Feedback).

UV Feedback:

• K: Kein Feedback
• S: Standard Feedback (nicht datengestützt)
• P: Personalisiertes, datengestütztes Feedback

AVs:

• Enjoyment
• Sicherheit/Kontrolle/Selbstbewusstsein des Nutzers
• Aktiviertheit
• Positive/negative affect
• Taskload
• Motivation?

4.3 Studiengestaltung

Die Teilnehmer der Studie werden zufällig in drei Bedingungen eingeteilt, die sich lediglich beim Feedback auf die Übungsausführung unterscheiden. In allen drei Bedingungen werden sie von einem virtuellen Trainer begleitet. Jeder Teilnehmer führt ein Training (mehrere Übungsdurchgänge) mit der der Bedingung entsprechendem Feedback des virtuellen Trainers durch.

Ablauf:

1. Einverständnis-, Datenschutzerklärung & Allgemeine Teilnehmerinformation über die Untersuchung
2. Präfragebögen
3. Training in VR
4. Postfragebögen

4.4 Zeitplan

5. Referenzen

[1] Gago-Masague, S., Chen, T. M., & Li, G. P. (2017). Promoting Physical Exercise Through Embodied Trainers: A Systematic Literature Review. In The Digitization of Healthcare (pp. 293-322). Palgrave Macmillan, London.

[2] Kinne, S. (1999). Correlates of exercise maintenance among people with mobility impairments. Disability and Rehabilitation, 21(1), 15-22.

[4] Vallerand, R. J. (2007). Intrinsic and extrinsic motivation in sport and physical activity. Handbook of sport psychology, 3, 59-83.

[5] Côté, J., & Gilbert, W. (2009). An integrative definition of coaching effectiveness and expertise. International journal of sports science & coaching, 4(3), 307-323.

[6] Hamzeheinejad, N., Straka, S., Gall, D., Weilbach, F., & Latoschik, M. E. (2018, March). Immersive Robot-Assisted Virtual Reality Therapy for Neurologically-Caused Gait Impairments. In 2018 IEEE Conference on Virtual Reality and 3D User Interfaces (VR) (pp. 565-566). IEEE.

[7] Cassell, J. (2000). Embodied conversational interface agents. Communications of the ACM, 43(4), 70-78.

[8] Babu, S., Zanbaka, C., Jackson, J., Chung, T., Lok, B., Shin, M. C., & Hodges, L. F. (2005). Virtual human physiotherapist framework for personalized training and rehabilitation. In Graphics Interface (pp. 9-11).

[9] Dancu, A. (2012, October). Motor learning in a mixed reality environment. In Proceedings of the 7th Nordic Conference on Human-Computer Interaction: Making Sense Through Design (pp. 811-812). ACM.

[10] Watson, A., Bickmore, T., Cange, A., Kulshreshtha, A., & Kvedar, J. (2012). An internet-based virtual coach to promote physical activity adherence in overweight adults: randomized controlled trial. Journal of medical Internet research, 14(1).

[11] Klaassen, R. (2013, May). Feedback presentation for mobile personalised digital physical activity coaching platforms. In Proceedings of the 6th International Conference on Pervasive Technologies Related to Assistive Environments (p. 64). ACM.

[12] Fasola, J., & Mataric, M. (2011). Comparing physical and virtual embodiment in a socially assistive robot exercise coach for the elderly. Center for Robotics and Embedded Systems, Los Angeles, CA.

[13] Wang, N., Johnson, W. L., Rizzo, P., Shaw, E., & Mayer, R. E. (2005, January). Experimental evaluation of polite interaction tactics for pedagogical agents. In Proceedings of the 10th international conference on Intelligent user interfaces (pp. 12-19). ACM.

[14] Paleari, M., Lisetti, C., & Lethonen, M. (2005). Virtual Agent for Learning Environment Reacting and Interacting Emotionally. Eurecom. Fr, 3-5.

[15] Albaina, I. M., Visser, T., Van Der Mast, C. A., & Vastenburg, M. H. (2009, April). Flowie: A persuasive virtual coach to motivate elderly individuals to walk. In Pervasive Computing Technologies for Healthcare, 2009. PervasiveHealth 2009. 3rd International Conference on (pp. 1-7). IEEE.

[16] Eyck, A., Geerlings, K., Karimova, D., Meerbeek, B., Wang, L., IJsselsteijn, W., … & Westerink, J. (2006, May). Effect of a virtual coach on athletes’ motivation. In International Conference on Persuasive Technology (pp. 158-161). Springer, Berlin, Heidelberg.

[17] Senden, J. (2012). A Virtual Coach on a Mobile Device Giving Flexible Feedback.

[18] Fung, J., Richards, C. L., Malouin, F., McFadyen, B. J., & Lamontagne, A. (2006). A treadmill and motion coupled virtual reality system for gait training post-stroke. CyberPsychology & behavior, 9(2), 157-162.

[19] Brütsch, K., Schuler, T., Koenig, A., Zimmerli, L., Mérillat, S., Lünenburger, L., … & Meyer-Heim, A. (2010). Influence of virtual reality soccer game on walking performance in robotic assisted gait training for children. Journal of neuroengineering and rehabilitation, 7(1), 15.

[20] Porras, D. C., Siemonsma, P., Inzelberg, R., Zeilig, G., & Plotnik, M. (2018). Advantages of virtual reality in the rehabilitation of balance and gait: Systematic review. Neurology, 90(22), 1017-1025.

[21] Freina, L., & Ott, M. (2015). A Literature Review on Immersive Virtual Reality in Education: State Of The Art and Perspectives. eLearning & Software for Education, (1).

Contact Persons at the University Würzburg