Human-Computer Interaction

Die Akzeptanz verkörperter KI-Agenten unter medizinischen Fachkräften: der Einfluss von KI-Autonomie und persönlicher Machtposition


This project is already assigned.

Einleitung

Die Kollaboration mit künstlicher Intelligenz (KI) bietet medizinischen Fachkräften das Potenzial, die eigenen Fähigkeiten zu erweitern (Kocaballi et al., 2020; Sezgin, 2023; Tarek Ibrahim & Hala Rashad, 2024). Beispielsweise könnten Anästhesist:innen mittels KI eine Gefährdung von Patient:innen vorhersagen und verhindern (Singhal, Gupta & Hirani, 2023). Dabei bietet „extended reality“ (XR) die Möglichkeit, mit der Integration verkörperter KI-Agenten in das Arbeitsumfeld positiv auf diese Interaktion einzuwirken. So berichteten Krop, Oberdörfer und Latoschik (2023) im Kontext von Lernen einen im Vergleich zu einem textbasierten System verbesserten Wissensabruf durch den Einsatz eines verkörperten Agenten. Des Weiteren konnten Qiu und Benbasat (2009) durch eine Verkörperung die Akzeptanz erhöhen, die Nutzer:innen einem Agenten gegenüberbringen. Um das Potenzial verkörperter KI-Agenten im Gesundheitswesen nutzbar zu machen, spielt die Akzeptanz, die das medizinische Personal ihnen gegenüberbringt, eine zentrale Rolle. So beeinflusst ein Mangel an Akzeptanz unter den Nutzer:innen die Qualität der Kollaboration zwischen Mensch und KI (Pagliari, Chambon & Berberian, 2022) und behindert die Implementierung einer Technologie im Gesundheitswesen (AlQudah, Al-Emran & Shaalan, 2021; Chong, Blut & Zheng, 2022). Trotz dieses Einflusses ist die Literatur zu Akzeptanz von KI im Gesundheitswesen lückenhaft (Hua, Petrina, Young, Cho & Poon, 2024). Diese Arbeit befasst sich mit dieser Forschungslücke und untersucht Faktoren, die auf die Akzeptanz von verkörperten KI-Agenten unter medizinischem Personal einwirken. Dabei steht der Einfluss der Autonomie von KI und der Machthierarchie unter dem medizinischen Personal im Fokus. Des Weiteren wird untersucht, ob Agency, die Wahrnehmung Initiator der eigenen Handlungen zu sein (Tapal et al., 2017), diese potenziellen Effekte vermittelt und erklärt. Diese Faktoren sind von Interesse, da KI-Anwendungen mit einem unterschiedlichen Ausmaß an Autonomie ausgestattet werden (Choung, David & Ross, 2023; Jones-Jang & Park, 2022) und die aus einer Untersuchung gewonnenen Erkenntnisse hilfreich bei der Gestaltung von autonomen Anwendungen sein könnten, die vom medizinischen Personal angenommen werden. Des Weiteren sind Teams aus medizinischen Fachkräften sowohl innerhalb (Avgerinos, Fragkos & Huang, 2020) als auch zwischen den verschiedenen Berufsgruppen geprägt von Machtgefällen (Jones, Jennings, Higgins & Waal, 2018). Sollten diese Hierarchien die Akzeptanz von KI-Agenten und damit die Interaktion mit diesen oder die Diskussion mit anderen Teammitgliedern über die Ausgaben einer KI beeinflussen, könnten medizinische Entscheidungen verzerrt und das Potenzial von KI nicht angemessen genutzt werden. Die Erkenntnisse dieser Arbeit könnten somit auf die Notwendigkeit spezifischer Trainings und Anpassungen von KI-Anwendungen hinweisen. Zur empirischen Untersuchung dieser Faktoren wird ein Experiment durchgeführt, in dem Studienteilnehmer:innen in Virtual Reality mit einem verkörperten Agenten kollaborieren. Dabei wird die Anwendung von KI auf das Szenario eines „Team-Time-Out“ (TTO) simuliert. Beim TTO handelt es sich um eine von der World Health Organization empfohlene, unmittelbar vor dem ersten Hautschnitt einer Operation durchgeführte Überprüfung aller relevanten Informationen mit dem beteiligten medizinischen Personal (Dr.med. Heinen, 2024). Die Simulation erfolgt mittels VR, da ein TTO direkt im OP-Saal durchgeführt wird und keine entsprechenden Räumlichkeiten zur Verfügung stehen. Der KI-Agent wird in dieser Simulation an Stelle eines der menschlichen Teammitglieder als Moderator des TTO auftreten. Dabei wird der Agent eine Checkliste durch den Austausch mit dem Team bzw. den Studienteilnehmer:innen abarbeiten. Die Proband:innen nehmen hierbei die Rolle einer medizinischen Fachkraft ein. Ziel dieser Thesis ist es, Faktoren zu beleuchten, die auf die Akzeptanz von KI unter medizinischem Personal einwirken. Die gewonnenen Erkenntnisse sollen dazu beitragen, dass medizinische Fachkräfte einer KI mit angemessener Akzeptanz begegnen, um das Potenzial dieser Technologie im Gesundheitswesen nutzbar zu machen. Dabei steht sowohl die entsprechende Gestaltung von KI-Agenten als auch die Sensitivierung und das Training des Personals im Fokus. Daher beschäftigt sich diese Thesis mit den folgenden Forschungsfragen: Beeinflussen die persönliche Machtposition von Fachkräften und die Autonomie eines verkörperten KI-Agenten dessen Akzeptanz durch medizinisches Personal? Spielt der Eindruck persönlicher Agency dabei eine vermittelnde Rolle?

Theorie und Forschungsstand

Der Einfluss von KI-Autonomie

Frank und Otterbring (2024) untersuchten in mehreren Experimenten, inwiefern Kund:innen die Autonomie von KI-Assistenten im Kontext von Online-shopping akzeptieren. Dabei zeigte sich ein deutlicher, negativer Effekt von KI-Autonomie auf die der KI gegenübergebrachte Akzeptanz. Daher wird folgende Hypothese aufgestellt:

Der Einsatz vollkommen autonomer KI scheint im Gesundheitswesen nicht angestrebt zu werden (Topol, 2019). Bei Meinungsverschiedenheiten zwischen KI und menschlicher Fachkraft scheinen Ärzt:innen zu bevorzugen, dass entweder der Mensch das letzte Wort hat oder aber eine dritte Meinung eingeholt wird (Giavina-Bianchi, Amaro & Machado, 2024). Das Szenario einer Schlichtung durch eine dritte Partei wird daher als höchstmögliche Ausprägung von KI-Autonomie in diesem Kontext angenommen.

Der Einfluss des persönlichen Machtgefühls

Aus ihren Studienergebnisse zur Akzeptanz von intelligenten Chatbots in der Kundenberatung schlossen Yan, Fan, Shao und Lei (2022), dass Menschen mit höherem Machtgefühl intelligenten Produkten mehr Akzeptanz gegenüberbringen. Sie vermuteten, dass das Gefühl von Macht dazu verleitet den Risiken einer Technologie weniger Aufmerksamkeit zukommen zu lassen als deren Nützlichkeit. Ihre Ergebnisse bestätigten diese Erwartung durch einen starken positiven Zusammenhang zwischen Machtgefühl und Akzeptanz, als auch wahrgenommener Nützlichkeit. Daher wird erwartet:

Menschen weisen die Tendenz auf, ihre Macht nicht aufgeben zu wollen (Fehr, Herz & Wilkening, 2013). Es wird daher erwartet, dass Menschen in höheren Machtpositionen in der steigenden Autonomität eines Systems eine Bedrohung ihrer Macht sehen, wohingegen sich Menschen mit geringerem Machtgefühl weniger davon bedroht fühlen.

Mediation durch Sense of Agency

Menschen nehmen die Autonomie einer Maschine als Agency wahr (Rose & Truex, 2000; Zafari & Koeszegi, 2018 - 2018). Agency bezeichnet dabei die Wahrnehmung, Initiator der eigenen Handlungen zu sein (Tapal, Oren, Dar & Eitam, 2017). Die Agency eines technischen Systems scheint die eigene „sense of agency“ (SoA) zu beeinflussen: Berberian, Sarrazin, Le Blaye und Haggard (2012) zeigten im Kontext eines Autopiloten in der Luftfahrt, dass die SoA von Nutzer:innen mit zunehmender Automatisierung des Systems abnahm. Bisherige Untersuchungen von SoA spezifisch in Mensch-KI Interaktionen sind selten und theoretisch (Legaspi et al., 2024). Legaspi, He und Toyoizumi (2019) stellen diesbezüglich ein Modell auf, laut dem die SoA von Menschen sinkt, wenn sie einer KI eine hohe SoA zuschreiben. Von dieser Literatur wird folgende Hypothese abgeleitet:

Das Gefühl von Macht erhöht den Eindruck persönlicher Agency (Galinsky, Rucker & Magee, 2015). So zeigten van der Westhuizen, Moore, Solms und van Honk (2017), dass die Einnahme von Testosteron, einem Hormon das mit dem Machtgefühl in Hierarchien in Verbindung gebracht wird, den Eindruck persönlicher Agency erhöht. Daraus wird abgeleitet:

Finze, Trapp und Haug (2024) erhoben den Einfluss von SoA auf die Akzeptanz, die Studierende einem KI-Assistenten als Begleiter im Alltag gegenüberbringen und stellten einen positiven Zusammenhang fest. In Kombination mit der zuvor berichteten Literatur werden hieraus die Hypothesen abgleitet:

Methode

Versuchsplan

In der Studie wird ein vollständig gekreuztes 2 („KI-Autonomie“: hoch vs. niedrig) x 2 („Machtposition“: hoch vs. niedrig) mixed Design verwendet. Die abhängige Variable stellt die dem virtuellen Agenten gegenübergebrachte Akzeptanz dar. KI-Autonomie stellt den Within-Subjects-Faktor dar, wobei die Bedingungen in randomisierter Reihenfolge erfolgen. In beiden Bedingungen übernehmen Teilnehmer:innen in einer VR-Umgebung eine Rolle in einem OP-Team und nehmen an einem TTO teil. Sie erleben jeweils, wie ein KI-Agent einer Anästhesist:in aufgrund eines entdeckten Musters eine Alternative zum geplanten Vorgehen vorschlägt. Diesem Vorschlag widerspricht die Anästhesist:in allerdings begründet. Je nach Bedingung reagiert der Agent hierauf entweder durch ein Pausieren der OP für wenige Minuten, um eine dritte Meinung von einer menschlichen Fachkraft einzuholen (hohe KI-Autonomie), oder durch Akzeptanz des Entscheidungsrechts der Anästhesist:in (niedrige KI-Autonomie). Der Between-Subject-Faktor Machtposition stellt die fiktive Rolle im OP-Team und damit die Machtposition dar, die die Teilnehmer:innen über beide Bedingungen der KI-Autonomie hinweg während der experimentellen Aufgabe einnehmen. Die Durchführung dieser Manipulation orientiert sich am von Galinsky et al. (2015) als Goldstandard für rollenbasierte Manipulationen von Macht bezeichnetem Vorgehen von Anderson und Berdahl (2002). Entsprechend wird zu Beginn der Studie die bisherige Erfahrung in Führungspositionen abgefragt. Der Versuchsleiter weist den Teilnehmer:innen daraufhin zufällig die Rolle einer Chirurg:in (hohe Machtposition) oder die einer Pflegefachkraft (niedrige Machtposition) zu. Die Teilnehmer:innen werden hierbei getäuscht, da ihnen mitgeteilt wird, dass sie aufgrund ihrer Führungserfahrung im Vergleich zu anderen Teilnehmer:innen für die jeweilige Rolle eingeteilt wurden. Diese Täuschung wird bei Abbruch oder Abschluss des Experiments aufgeklärt und begründet. Da der persönliche Eindruck von Macht neben dem sozialen Kontext auch von der individuellen Persönlichkeit beeinflusst wird (Anderson, John & Keltner, 2012), ist diese dem Goldstandard entsprechende Manipulation durch Täuschung nötig, um das in der Realität herrschende Machtgefälle im OP-Team simulieren zu können.

Versuchsablauf

Nach der Aufklärung über die Studie und Datenverarbeitung erfolgt die Abfrage demographischer Daten (Alter, Geschlecht, professionelle Vorerfahrung im Gesundheitswesen), eventueller Sehschwächen, bisheriger Führungserfahrung und der Persönlichkeitsmerkmale der Teilnehmer:innen. Außerdem wird der Simulator Sickness Questionnare (Kennedy, Lane, Berbaum & Lilienthal, 1993), als auch der MAILS Fragebogen (Carolus, Koch, Straka, Latoschik & Wienrich, 2023) abgefragt. Hierauf folgt die zuvor beschriebene Manipulation der Machtposition. Zur Manipulationskontrolle und späteren Mediationsanalyse wird vor Beginn der experimentellen Aufgabe das induzierte Gefühl von Macht über das OP-Team erhoben. In der experimentellen Aufgabe entspricht das Aussehen der Rollen dem jeweiligem Stereotyp (z. B.: Chirurg:in in Arztkittel). Daraufhin werden die Teilnehmer:innen instruiert, die experimentelle Aufgabe in ihrer zugeteilten Rolle zu bestreiten. Es wird angekündigt, dass sie dabei in zwei Szenarien hintereinander mit einem verkörperten KI-Agenten in einem TTO interagieren werden und was dabei ihre Aufgabe sein wird. Sie werden außerdem darüber aufgeklärt, dass KI-Agenten bei essenziellen Aufgaben im Gesundheitswesen wie der Erkennung von Krankheiten mittlerweile mindestens so gut sind wie Menschen (Davenport & Kalakota, 2019). Nach jedem Szenario wird die abhängige Variable erfasst und zur Manipulationskontrolle und weiteren Mediationsanalyse zusätzlich die persönlich wahrgenommene und die dem KI-Agenten zugeschriebene Agency erhoben. Da die wahrgenommene Kompetenz einer KI einen der wichtigsten Faktoren für die Akzeptanz durch ihre Nutzer:innen darstellt (Krop, Koch, Carolus, Latoschik & Wienrich, 2024), wird außerdem die Kompetenz des Agenten nach jeder Bedingung erfasst. Zusätzlich wird dabei die Self-Efficacy erhoben, da diese unter medizinischem Personal einen konsistenten (Holden & Karsh, 2010) und großen Einfluss auf die Akzeptanz von Informationstechnologie hat (Chong et al., 2022). Nach Abbruch oder Abschluss der experimentellen Aufgabe erfolgt die Aufklärung, Entschädigung und Verabschiedung der Teilnehmer:innen.

Experimentelle Aufgabe

Die Teilnehmer:innen (TN) nehmen in einem virtuellen Operationssaal in ihrer jeweils zugeteilten Rolle (Chirurg:in/Pflegekraft) an einem TTO teil. Im OP-Saal sind drei als Menschen vorgestellte Figuren anwesend, die den Patienten auf dem OP-Tisch, die Anästhesist:in und je nach Rolle der Teilnehmer:in die Chirurg:in/Pflegekraft darstellen. Des Weiteren ist ein virtueller Agent in einer nicht menschlichen Verkörperung anwesend. Der virtuelle Agent wird die Moderation des TTO übernehmen und die entsprechend einer standardisierten Checkliste erforderlichen Informationen bei den anwesenden Teammitgliedern nacheinander verbal einholen. Die Proband:innen werden zuvor mit den Informationen instruiert, die sie zur Beantwortung der Fragen durch den Agenten benötigen. Das TTO und damit die experimentelle Aufgabe beginnt und endet mit einer offiziellen Ankündigung durch den Agenten. Der Dialog des Szenarios wird bis auf den Sprechanteil der Teilnehmer:innen vorab festgelegt.

Stichprobe

Zur Schätzung der Stichprobengröße wurde eine Poweranalyse mittels „g*Power“ durchgeführt. Aufgrund einer Schätzung des Zeitaufwandes wird eine Stichprobengröße von n=50 angestrebt. Die Stichprobe stellen dabei freiwillige Teilnehmer:innen, die mittels Versuchspersonenstunden oder finanzieller Entschädigung entlohnt werden.

Versuchsmaterial

Die persönlich wahrgenommene, als auch die dem KI-Agenten zugeschriebene Agency wird mittels dem von Tapal et al. (2017) entwickelten Fragebogen erhoben. Das Gefühl von Macht über das OP-Team wird durch eine angepasste Version des Fragebogens von Anderson et al. (2012) abgefragt. Die dem KI-Agenten gegenübergebrachte Akzeptanz wird operationalisiert durch die Bereitschaft, weiterhin mit dem Agenten zu arbeiten und mittels dem von Dennis, Lakhiwal und Sachdeva (2023) vorgestellten Fragebogen gemessen. Des Weiteren wird der Uncanny Valley Index (Ho & MacDorman, 2010), der Simulator Sickness Questionnare (Kennedy et al., 1993) und der MAILS Fragebogen (Carolus et al., 2023) eingesetzt. Die wahrgenommene Kompetenz des KI-Agenten wird mittels der AI Representations Scale (Straka, Koch, Carolus, Latoschik & Wienrich, 2023) erhoben, während die Self-Efficacy durch eine Anpassung des Fragebogens von Venkatesh (2000) gemessen wird. Um die Persönlichkeitsmerkmale der Teilnehmer:innen zu erfassen, kommt das Ten-Item Personality Inventory von Gosling, Rentfrow und Swann (2003) zum Einsatz.Der virtuelle Operationssaal wird mit Unity 2023.2.20f1 entwickelt und mit einem Quest 2 HMD und einer NVIDIA GeForce RTX 4070 Grafikkarte dargestellt. Die Dialoge werden mittels ElevenLabs (ElevenLabs, 2024) vertont.

Zeitplan

Literaturverzeichnis


Contact Persons at the University Würzburg

Philipp Krop (Primary Contact Person)
Human-Computer Interaction Group, University of Würzburg
philipp.krop@uni-wuerzburg.de

Prof. Dr. Marc Erich Latoschik
Human-Computer Interaction Group, University of Würzburg
marc.latoschik@uni-wuerzburg.de

Legal Information