Typing in VR

Closed Human-Computer Interaction Bachelor Thesis No Affiliation

1. Motivation / Ziele

Virtual Reality findet immer mehr Anwendung in verschiedenen Gebieten. Abgesehen von Simulationen oder VR Spielen soll VR den Einzug in den Benutzungsalltag am Desktop finden. Microsoft investiert aktuell stark in sogenannte “Mixed Reality” Headsets die nicht nur als Freizeitobjekte, sondern auch als Arbeitswerkzeuge präsentiert werden ^11. Windows 10 bietet jetzt bereits Virtual Reality Arbeitsumgebungen an, die versuchen den klassischen Desktop zu erweitern bzw. zu ersetzen. Um jedoch den klassischen Workflow am Desktop in VR zu ersetzen, muss die Navigation und Eingabe so intuitiv und natürlich wie möglich gestaltet werden. Auch in spielerischen Umgebungen ist es oft notwendig kurze Texte einzugeben, sei es nur eine kurze Chatnachricht in Multiplayer Umgebungen oder die Eingabe des Spielernamen. Vorhandene Eingabemethoden in VR Applikationen sind bis heute angepasste 2D-Keyboards die auf Input mit getrackten Controller angepasst wurden und erfordern eine Umstellung im Vergleich zu konventionellen Tastaturen ^8. Diese 2D Keyboards bestehen aus einem zweidimensionalen flachen Panel mit Buchstaben auf das der Nutzer mit einem getrackten Controller zeigen kann. Aus dem Controller geht in VR ein Laserpointer hervor der für das Auswählen der Tasten genutzt wird. Wenn ein Buchstabe mit dem Pointer angezeigt wird, lässt sich dieser Buchstabe mit dem Klicken des Trigger Knopfs betätigen. Nutzer müssen also bei dieser Point and Click Methode lernen, wie sie Text eingeben und können sich nicht auf Wissen aus der echten Welt berufen.

Texteingabe in VR ist zum aktuellen Zeitpunkt nicht einheitlich. Viele Anwendungen setzen auf eigene Inputmethoden, die sich teils sehr voneinander unterscheiden. Manchmal unterscheiden sie sich nur rein visuell, anderenfalls aber in der gesamten Methodik der Eingabe. Während am Desktop seit Jahren Keyboards den Standard für die Texteingabe stellen, existiert in VR kein etablierter Standard. Nutzer müssen also oft zwischen verschiedenen Texteingabe-Methoden wechseln und haben daher nicht die Möglichkeit, sich an eine Methode zu gewöhnen.

Die meisten VR Inputmethoden basieren auf bereits vorhandenen Interaktionsdesigns die aus 2D Umgebungen stammen und lediglich in eine 3D Umgebung übertragen wurden. Dies ist nicht optimal, da Menschen sich in 3D Umgebungen teils nicht gut zurechtfinden. Daher ist es vorzuziehen , Interaktionen in 3D auf Basis natürlicher Interaktionen im Alltag zu gestalten. Hohe Usability und intuitive Nutzung sind bei der Texteingabe besonders wichtig, da potentiell über einen ausgedehnten Zeitraum getippt werden muss und daher keinen Frust und zu hohe Anstrengung beim Nutzer auslösen soll. Auch bei kurzen Eingaben ist die Usability sehr wichtig, da hier der Fokus des Use Cases nicht auf dem Tippen liegt und daher besonders einfach ablaufen sollte.

Ziel in dieser Arbeit ist, neue, intuitive und natürliche Eingabemethoden zu finden und mit der aktuell verbreitetsten Eingabemethode in Form des Point and Click Keyboards zu vergleichen.

2. Forschungsstand / Vorarbeiten

Noch nicht viele Input-Methoden wurden bis jetzt für virtuelle immersive Umgebungen entwickelt. Laut Doug Bowman et al. (2001) ^1 könnte dies daran liegen, dass Virtual Reality bisher nur als Visualisierungstool gesehen wird und nicht als Werkzeug. Tatsächliche Arbeit wird meistens an konventionellen PC’s mit Monitor durchgeführt während in VR verschiedenste Umgebungen visualisiert werden können bei denen Input in Form von Zeichen nicht notwendig ist. Aufgrund der stetig steigenden Anwendungsfälle von VR wird jedoch der Input immer wichtiger. Zu einer der frühesten Forschungen zum Thema Text Input in VR gehört der Ansatz von Poupyrev, Tomokazu, & Weghorst (1988) ^2. Hier setzten Benutzer ein Head Mounted Display auf und erhielten zusätzlich zur Texteingabe ein Grafiktablet mit entsprechendem Stylus . Die Nutzer konnten dann in einer virtuellen Umgebung simple Zeichen auf das Tablet schreiben. Diese Zeichen wurden jedoch nicht als Symbole gespeichert sondern lediglich als Striche. Somit waren sie nur proprietär und konnten von der Anwendung nicht genutzt werden. Zusätzlich hatte das Tablet eine zu hohe Latenz, weshalb flüssige Eingabe schwierig war.

Für User Interfaces in 3d Umgebungen bedarf es spezialisierte Interaktionsmethoden. Herdon et al. (1994) ^3 stellten bereits fest, dass Menschen Schwierigkeiten haben, eine 3D Umgebung zu verstehen und in dieser zu handeln. Es reicht also nicht WIMP Interaktionen in die virtuelle Umgebung zu bringen. Es ist demnach erforderlich neue Interaktionsarten zu gestalten, basierend auf natürlichen Interaktionen in der echten Welt (Doug Bowman et al. 2001) ^4.

Neuartige 3D Interaktionen werden von Van Dam (1997) ^5 als sogenannte “Post WIMP” Applikationen bezeichnet. Das Merkmal von diesen Applikationen ist es, dass diese Interaktionen mindestens eine Interaktionsart enthalten, die nicht abhängig ist von klassischen 2D Widgets wie Menüs oder Icons.

Zudem sind Cursor, wie sie vom Desktop bekannt sind, in 3D problematisch, da einige Nutzer Schwierigkeiten haben, 3D Menüs die im Raum schwebten mit einem Cursor zu bedienen (Hand, 1997) ^6 . Der Cursor wird in VR durch den Pointer dargestellt. Diese Problematik lässt sich auch auf VR übertragen, da hier lediglich die Form des Cursors abgewandelt ist, der Nutzer jedoch trotzdem mit einem Cursor 3D Menüs anwählen muss.

Eine große Beschränkung im aktuellen Forschungsstand liegt darin, dass die meiste Literatur veraltet ist. In den letzten Jahren hat sich die für VR benötigte Hardware, sowohl die Rechneleistung der Computer als auch die HMD Systeme selbst, rasant weiterentwickelt. Besonders die Tracking Systeme haben sich in den letzten Jahren große Sprünge gemacht, wodurch es jetzt möglich ist, hochpräzise die Position und Ausrichtung des Benutzers im Raum festzustellen. Besseres Tracking hat zur Folge, dass viel präzisere Eingaben möglich sind als die in der Literatur behandelten. Dies hat definitiv einen Einfluss auf die die Forschungsmöglichkeiten und Weiterentwicklung von 3D User Interfaces.

Eine weitere Methode zur Texteingabe wird aktuell von Logitech entwickelt [^9]. Hierbei wird eine Logitech Tastatur mit einem Tracker ausgestattet um eine akkurate Darstellung der Tastatur in VR zu ermöglichen. Die Hände des Nutzers werden dann mit der Kamera der HTC Vive aufgenommen und als 3D Modell in VR dargestellt. So können die Nutzer auf einer physischen Tastatur in VR tippen. Dies bringt jedoch neue Komplikationen mit sich, da der Nutzer dann an einen Ort gebunden ist und sich nicht frei im Raum bewegen kann. Außerdem funktioniert diese Lösung ausschließlich mit der HTC Vive, da ähnliche HMDs keine Kamera am Headset besitzen.

3. Geplante Methodik / Konzepte

Als erste Texteingabe-Methode wird in dieser Arbeit die am häufigsten in VR Applikationen verwendete Eingabemethode untersucht. Diese Methode zeigt dem Anwender ein zweidimensionales Keyboard mit verkleinertem Layout. Ähnlich wie bei mobilen Touch-Keyboards, wurden hier zusätzliche Tasten wie Escape oder Control entfernt, da diese nicht essentiell für die Texteingabe sind. Der Nutzer kann dann mithilfe der Vive Remotes oder ähnlichen VR Controllern auf einzelne Buchstaben zeigen (die Zeigerichtung wird durch einen Laserpointer-Strahl angezeigt) und diese mithilfe eines Knopfdruckes auswählen. Diese Methode stammt aus dem Bereich der 2D WIMP Applikationen, da hier eine zweidimensionale Benutzeroberfläche gezeigt wird, die lediglich leicht auf eine 3D Umgebung angepasst wurde. Bei dieser Methode kann der Nutzer also nicht auf natürliche Interaktionen der realen Welt zurückblicken, da das “Point and Click” keine Interaktionsform ist, die der Nutzer im Alltag erleben könnte und auch nur bedingt mit der Mausnutzung am regulären Desktop verglichen werden kann.

Im Kontrast zur gerade genannten Methode steht die zweite Inputmethode die im Rahmen dieser Arbeit behandelt wird. Dabei wird ein Keyboard mit verkürztem QWERTZ Layout (ähnlich dem Point and Click Keyboard) dreidimensional dargestellt und die Tasten werden in Form von kleinen Würfeln dem Nutzer präsentiert. An den virtuellen Steam VR Controllern befinden sich kurze Stäbe an deren Enden Kugeln befestigt sind. Die Kugeln werden hier als Auslöser für die Tasten genutzt. Sobald der Nutzer mit dem Ende der Kugel eine Taste anschlägt wird diese ausgelöst und der Nutzer wird über einen erfolgten Tastenanschlag durch eine dezente aber spürbare Vibration informiert. Ziel dieser Methode soll sein, die Eingabegeschwindigkeit im Vergleich zu “Point and Click” zu erhöhen und eine intuitivere Texteingabemethode mit höherer Usability zu finden. Da im Vergleich zur oben genannten Methode beide Hände effektiv genutzt werden können, hat der Nutzer die Möglichkeit schneller zu tippen und kann sich besser auf Alltagerfahrungen stützen (Bowman, 2004) ^14. Zudem könnte bei dieser Eingabemethode der Spaßfaktor eine Rolle spielen, da die Interaktion an das Spielen eines Musikinstruments angelehnt ist. Besonders im Videospielkontext würde dies einen erheblichen Vorteil bringen. Da Texteingabe meist nicht im Vordergrund eines Videospiels steht, ist es wünschenswert wenn die Eingabe das Spielerlebnis möcglichst nicht beeinflusst. Das Drumstyle Keyboard könnte z.B. stilistisch in die Videospielumgebung eingegliedert werden um die Immersion möglichst wenig zu brechen.

Als mögliche dritte Inputmethode kann das Drum Style Keyboard modifiziert werden um mit den Händen des Nutzers die Tasten auszulösen. Um ein genaues Tracking zu erreichen wird hier der Trackinghandschuh Manus VR genutzt. Mithilfe dieses Handschuhs können die Fingerbewegungen des Nutzers gemessen werden. Zusätzlich werden am Handgelenk zwei Vive Tracker angebracht, um positionelles Tracking des Arms zu ermöglichen. In VR wird dem Nutzer eine Repräsentation ihrer Unterärme gezeigt, die die Präsenz des Nutzers steigern soll und eine möglichst natürliche Interaktion bieten soll. An der virtuellen Hand des Nutzers befindet sich am Zeigefinger eine kleine Kugel mit der er Tastenanschläge ausführen kann.

3.1 Aufgaben

• Erarbeitung und Evaluation einer natürlichen Inputtechnik
• Unabhängigkeit vom der Position im Raum
• Großteils unabhängig von der verwendeten VR Hardware

3.2 Hypothese

Für diese Arbeit werden drei Hypothesen aufgestellt.

H1: “Die eigens für Virtual Reality entwickelten Eingabetechniken ermöglichen es dem Nutzer Text effektiver einzugeben.”

H2: “Die eigens für Virtual Reality entwickelten Eingabetechniken sind weniger fehleranfällig im Vergleich zu der angepassten 2D Eingabemethode”.

H3: “Die eigens für VR entwickelten Eingabetechniken weisen eine höhere Usability auf als die angepasste 2D Eingabemethode”.

3.2 Studiengestaltung

Die Nutzer werden in VR in einen schlicht gehaltenen Science-Fiction Testraum platziert. Die Hauptaufgabe der Probanden ist es, eine Kombination aus einer Farbe und einem dreidimensionalen Körper richtig zu benennen. Hierfür werden fünf verschiedene geometrische Objekte (Würfel, Pyramide, Zylinder, Diamant und Kugel) in vier verschiedenen Farben dargestellt (schwarz, rot, grün, blau), woraufhin der Proband die richtige Benennung, bestehend aus “Farbe” + “Objektname” in einem Textfeld eingeben muss. Ein Beispiel hierfür wäre “Blau Pyramide”. Jedes der beiden Worte soll auf einen Großbuchstaben anfangen. Die Eingabe wird mit dem Next Knopf bestätigt. Die Objekte werden dem Probanden jeweils vier mal in einer randomisierten Reihenfolge angezeigt. Die Zufallsauswahl erfolgt aus einem vorhandenen Pool an Farben und Objekten, sodass jeder Proband die gleiche Anzahl an Worten eingeben muss. Pro Eingabemethode werden jedem Testsubjekt insgesamt 20 verschiedene Kombinationen aus Farbe und Objekt gezeigt. Der Proband muss diese Aufgabe mit allen drei Input-arten absolvieren. Die Reihenfolge der Eingabemethoden wird randomisiert. Insgesamt gibt es demnach drei Blöcke mit jeweils einer Eingabemethode und einer Kombination aus 20 Objekten. Ob ein Lerneffekt vorliegt, soll im Rahmen einer knappen Prästudie festgestellt werden. Basierend auf den festgestellten Tendenzen kann den Nutzern eine einheitliche Eingewöhnungszeit geboten werden.

Nach jeder Eingabemethode wird der Nutzer gebeten einen Fragebogen auszufüllen. Um festzustellen ob die Nutzung intuitiv ist, wird hier auf den Quesi ^7 zurückgegriffen. Um zudem noch die Usability des Systems zu messen wird der “System Usability Scale”- Fragebogen ^13 verwendet. Zuletzt soll der Nutzer noch den NASA - TLX ^12 Fragebogen ausfüllen, dessen Funktion es ist, die wahrgenommene Beanspruchung des Nutzers festzustellen. Am Ende wird zusätzlich ein Ranking der Eingabemethoden nach persönlicher Präferenz des Nutzers verlangt. Dieses Ranking soll in einem Kommentar noch begründet werden.

Zusätzlich zu den Fragebögen werden im Hintergrund noch weitere Werte gemessen. Einerseits wird die Zeit gemessen die der Proband für jedes Objekt benötigt, um die Geschwindigkeit des Systems zu testen. Andererseits soll die Fehleranfälligkeit gemessen werden. Dies geschieht indem alle Backspace Tastenanschläge gezählt werden. Wenn die Backspace Taste mehrfach hintereinander ausgelöst wird, zählt dies jedoch nur als ein einziger Fehler, da der Nutzer so mehrere Buchstaben löschen kann selbst wenn nur ein einzelner Fehler gemacht wurde, beispielsweise am Anfang des Wortes.

Im Rahmen der Studie wird die Geschwindigkeit, Fehleranfälligkeit, Intuitive Use und Usability gemessen. Für die Studie wird ein “within-design” verwendet. Zu Beginn und Ende der Studie wird dem Probanden zusätzlich ein Fragebogen zur Simulation Sickness gestellt ^10. Hier soll festgestellt werden ob Probanden während der Studie signifikante Veränderungen des Wohlbefindens verspürt haben, die zum Ausschluss von der Datenauswertung führt.

4. Referenzen

^1 Bowman, D., Wingrave, C., Campbell, J., & Ly, V. (2001). Using Pinch Gloves for both Natural and Abstract Interaction Techniques in Virtual Environments. Proceedings of HCI International, New Orleans, Louisiana.

^2 Poupyrev, I., Tomokazu, N., & Weghorst, S. (1998). Virtual Notepad: handwriting in immersive VR. Proceedings of the Virtual Reality Annual International Symposium, Atlanta, 126-132.

^3 Herndon, K., van Dam, A., & Gleicher, M. (1994). The challenges of 3D interaction. SIGCHI Bulletin, 26(4), 36–43.

^4 Bowman, D., Kruijff, E., LaViola, J., Poupyrev, I., (2001) An Introduction to 3D User Interface Design Presence, Vol. 10, No. 1, February 2001, 96–108 2001 by the Massachusetts Institute of Technology

^5 VAN DAM A.: Post-wimp user interfaces. Commun. ACM (1997). 16, 17

^6 HAND C.: A survey of 3d interaction techniques. Computer Graphics Forum (1997). 1, 2, 11, 15, 16

^7: QUESI Questionnaire

^8 Unity Steam VR Plugin

^9 Logitech VR Keyboard

^10 Simulation Sickness Questionnaire

^11 Microsoft MR Headsets

^12 NASA TLX

^13 System Usability Scale

^14 Doug A. Bowman, Ernst Kruijff, Joseph J. LaViola, and Ivan Poupyrev. 2004. 3D User Interfaces: Theory and Practice. Chapter 10.2 , Addison Wesley Longman Publishing Co., Inc., Redwood City, CA, USA.

Contact Persons at the University Würzburg