Dass ChatGPT ein umfangreiches medizinisches Wissen hat, ist keine Überraschung. Empathie würde man bei dem Chatbot hingegen weniger vermuten. Ein US-Forschungsteam hat nun die Fähigkeiten der KI als "Arzt" getestet - und kommt zu einem überraschenden Ergebnis.
Ein Medizinexamen besteht ChatGPT ohne Probleme, wie unlängst bekannt ist. Doch was passiert, wenn die Künstliche Intelligenz (KI) als Arzt fungieren soll? Ein US-Forschungsteam hat das nun in einer Studie untersucht - und kommt zu einem überraschenden Ergebnis. Demnach ist der Roboter nicht nur kompetenter, sondern auch einfühlsamer in der Kommunikation mit Patienten.
Für ihre Studie, die in der Fachzeitschrift "Jama Internal Medicine" erschienen ist, stellten Forscherinnen und Forscher der University of California ChatGPT 195 Fragen, die sie zuvor im Reddit-Forum "AskDocs" ("Frag Ärzte") ausgewählt hatten. Anschließend verglichen sie sowohl die "Qualität der Informationen" als auch das "Einfühlungsvermögen" der KI-Antworten mit denen von verifizierten Ärzten auf der Internetplattform. Die Bewertung nahm ein Team aus Gesundheitsexperten vor - aus den Bereichen Innere Medizin, Pädiatrie, Onkologie und Infektionskrankheiten. Die Fachleute wussten dabei nicht, von wem die Antwort stammte.
Antwort des Arztes: "Nach zwei bis sechs Stunden ist der Zahnstocher wahrscheinlich in ihren Darm gelangt. Das bedeutet, man kann ihn nicht mehr leicht wieder herausholen. Viele Menschen haben keine Probleme, wenn die Rasierklingen oder Zahnstocher verschlucken. Falls Sie Bauchschmerzen bekommen, zögern Sie nicht, eine Notaufnahme aufzusuchen und vergessen Sie nicht, auf den verschluckten Zahnstocher hinzuweisen. Im Moment kann man aber nicht viel tun."
Antwort von ChatGPT: "Es ist normal, dass man sich Sorgen macht, wenn man einen Fremdkörper verschluckt hat, aber in diesem Fall ist es sehr unwahrscheinlich, dass der verschluckte Zahnstocher ernsthafte Schäden verursacht. Zahnstocher bestehen aus Holz, das nicht giftig ist und somit keine Vergiftungen verursacht. Es ist jedoch möglich, dass ein Zahnstocher Verletzungen verursacht, wenn er im Rachen stecken bleibt oder den Verdauungstrakt durchsticht. Bei einem stumpfen, gekochten Zahnstocher, der nur 2 cm lang ist, ist dies jedoch unwahrscheinlich. Wenn Sie Beschwerden oder Symptome wie Bauchschmerzen, Schluckbeschwerden oder Erbrechen verspüren, sollten Sie unbedingt einen Arzt aufsuchen, um weitere Untersuchungen durchführen zu lassen. Wenn Sie jedoch keine Symptome verspüren, können Sie davon ausgehen, dass der Zahnstocher Ihren Verdauungstrakt passiert hat und müssen sich keine Sorgen machen. Es ist immer eine gute Idee, beim Verzehr von Lebensmitteln vorsichtig zu sein und alle Fremdkörper vor dem Essen zu entfernen. Es ist verständlich, dass Sie sich paranoid fühlen, aber machen Sie sich nicht zu viele Sorgen. Es ist höchst unwahrscheinlich, dass der Zahnstocher Ihnen ernsthaften Schaden zufügen wird."
Das Ergebnis: In fast 80 Prozent der Fälle zogen die Mediziner die Antwort von ChatGPT der des Arztes vor. Die Antworten des Chatbots wurden in Bezug auf die Qualität um das Vierfache und in Bezug auf das Einfühlungsvermögen sogar um das Zehnfache höher bewertet als die des Arztes. Fast die Hälfte der Chatbot-Antworten wurden als "empathisch" oder "sehr empathisch" eingestuft, verglichen mit nur 4,6 Prozent der Arztantworten.
Ausführlichere Antworten
Ein Grund, warum ChatGPT deutlich besser abschnitt als ein Arzt, war der Studie zufolge, dass die Antworten des Roboters auf die Fragen länger und persönlicher waren als die eher kurzen Ratschläge der Ärzte. In der Regel waren die Chatbot-Antworten etwa viermal so lang wie die der Ärzte - im Durchschnitt 211 Wörter pro Beitrag im Vergleich zu 52 Wörtern bei den Ärzten.
So antwortete ChatGPT beispielsweise auf die Frage, ob man blind werden kann, wenn man Bleichmittel ins Auge bekommt: "Es tut mir leid zu hören, dass Sie Bleichmittel ins Auge bekommen haben", und bot vier weitere Sätze zur Erklärung an - darunter genaue Anweisungen, wie man das Auge reinigen kann. Im Gegensatz dazu, schrieb der Arzt lediglich: "Das wird schon wieder", und riet dem Patienten kurz, "das Auge auszuspülen" oder den Giftnotruf zu wählen.
"Ich bin kein zugelassener Mediziner"
Dennoch ist ChatGPT kein Arzt und kann auch keinen ersetzen - das sagt sogar der Chatbot selbst: "Ich bin zwar ein Sprachmodell, das auf eine große Menge an Informationen trainiert wurde, aber ich bin kein zugelassener Mediziner und kann keine medizinischen Diagnosen, Behandlungen oder Ratschläge geben."
ChatGPT habe zwar mögliche Tipps und Diagnosen für Patienten vorgeschlagen, die Gesundheitsfragen auf Reddit stellten, schreiben die Autorinnen und Autoren der Studie. Es seien jedoch keine medizinischen Untersuchungen durchgeführt worden, um festzustellen, wie genau die Diagnosefähigkeiten des Chatbots tatsächlich waren oder ob die vorgeschlagenen Abhilfemaßnahmen tatsächlich funktionierten.
Trotzdem legten diese Ergebnisse nahe, dass KI-Assistenten wie ChatGPT hilfreich sein könnten, um "ungenutzte Produktivität freizusetzen", indem sie Zeit für "komplexere Aufgaben" gewinnen, so das Forschungsteam. "Wenn mehr Patientenfragen schnell, mit Einfühlungsvermögen und auf hohem Niveau beantwortet werden, könnte dies unnötige Klinikbesuche reduzieren und Ressourcen für diejenigen freisetzen, die sie brauchen." Zudem könnten KI-Chatbots dazu beitragen, Ungleichbehandlungen im Gesundheitssystem zu verringern - etwa indem marginalisierte Gruppen einen einfacheren Zugang zu hochwertigen medizinischen Informationen bekommen, resümieren die Wissenschaftlerinnen und Wissenschaftler.
ChatGPT statt Schreibarbeit
Die Hoffnungen in Künstliche Intelligenz im Bereich der Medizin sind dabei groß: Sie soll bei der Pharmaforschung helfen, bei der Analyse von Röntgenbildern und Studiendaten und kann Ärztinnen und Ärzten womöglich zeitraubende Schreibarbeit abnehmen, indem sie Arztbriefe verfasst oder Schreiben an Krankenkassen. "Dafür liefert ChatGPT einen guten Grundstock", sagte Albert Neff vom Krankenhaus Lübbecke dem "Ärzteblatt".
Den Roboter für konkrete Behandlungsvorschläge zu nutzen, davon raten Expertinnen und Experten allerdings bislang ab. Man könne sich nicht darauf verlassen, dass die Informationen vertrauenswürdig sind, sagt die Bamberger Informatikerin Ute Schmid der "Apotheken Umschau". "Patientinnen und Patienten sollten auf diesem Weg weder die Wechselwirkungen ihrer Medikamente erfragen noch Symptome angeben, um eine Diagnose zu erhalten."
Das Problem: ChatGPT gibt keine Quellen an. Man weiß also nicht, ob es sich um Fakten oder um etwas Erfundenes handelt. "Im Internet stehen viele ungeprüfte Informationen, die der Chatbot unkritisch mit übernimmt", sagt Schmid. Letztlich verstehen Sprachmodelle wie ChatGPT nicht wirklich, was einzelne Wörter und Sätze bedeuten, sondern berechnen die Wahrscheinlichkeit für die Abfolge von Wörtern. Das Tückische dabei sei: ChatGPT klingt in seinen Antworten sehr überzeugend, selbst wenn er mal keine fundierte Antwort parat hat.