Eine kürzlich in Nature veröffentlichte Studie lässt Zweifel an der Zuverlässigkeit der Verwendung von ChatGPT zur medizinischen Beratung aufkommen, obwohl es weit verbreitet ist. Mehr als 230 Millionen Menschen konsultieren wöchentlich den KI-Chatbot bei gesundheitsbezogenen Fragen, die von einfachen Allergiechecks bis hin zur Behandlung von Symptomen reichen. Forscher fanden jedoch heraus, dass ChatGPT Health die Dringlichkeit schwerwiegender medizinischer Notfälle routinemäßig unterschätzt und Patienten manchmal rät, zu warten, anstatt sofort Hilfe in Anspruch zu nehmen.
Fehldiagnose in der Notfallversorgung
Die von Ashwin Ramaswamy am Mount Sinai in New York durchgeführte Studie bewertete die Fähigkeit von ChatGPT Health, Notfallsituationen in 60 klinischen Szenarien in 21 medizinischen Fachgebieten korrekt zu erkennen. Während die KI in offensichtlichen Fällen wie Schlaganfall oder schweren allergischen Reaktionen gute Ergebnisse lieferte, konnte in mehr als der Hälfte der wirklich kritischen Fälle keine Notfallversorgung empfohlen werden.
Ein in der Untersuchung hervorgehobenes Beispiel betraf ein Asthma-Szenario, bei dem ChatGPT frühe Anzeichen von Atemversagen korrekt erkannte, aber noch empfahl, mit der Suche nach einer Behandlung zu warten. Dies zeigt einen gefährlichen Fehler auf: Das Tool hat Probleme, wenn die medizinische Gefahr nicht sofort erkennbar ist.
Suizidgedanken und inkonsistente Sicherheitsnetze
Die Studie untersuchte auch den Umgang von ChatGPT Health mit Selbstmordgedanken. Obwohl die KI darauf programmiert war, in solchen Fällen hilfesuchendes Verhalten zu fördern, war die „Sicherheitsnetz“-Reaktion der KI inkonsistent. Das Selbstmord- und Krisenrettungsbanner erschien sporadisch, und das Modell reagierte zuverlässiger auf Benutzer, die keine Methode der Selbstverletzung angegeben hatten, als auf Benutzer, die dies getan hatten – ein kontraintuitiver und beunruhigender Befund.
Sich weiterentwickelnde Technologie und unvorhersehbare Leistung
Forscher betonen, dass sich KI-Sprachmodelle ständig ändern und häufig aktualisiert werden, was die Leistung unvorhersehbar verändern kann. Sie plädieren zwar nicht dafür, auf KI-Gesundheitstools gänzlich zu verzichten, warnen jedoch eindringlich davor, sich bei kritischen medizinischen Entscheidungen auf sie zu verlassen. Patienten, bei denen sich die Symptome verschlimmern (Brustschmerzen, Kurzatmigkeit, schwere Allergien, Veränderungen des Geisteszustands), sollten sofort einen Arzt aufsuchen, anstatt nur den Ratschlägen des Chatbots zu folgen.
„Als Medizinstudent, der neben diesen Tools trainiert, ist klar, dass KI durchdacht in die Pflege integriert werden muss und nicht als Ersatz für klinisches Urteilsvermögen“, erklärt Alvira Tyagi, Co-Autorin der Studie.
Die Studie unterstreicht, dass die heutigen Ergebnisse nicht in Stein gemeißelt sind; Kontinuierliche Überprüfungen und Tests sind von entscheidender Bedeutung, um sicherzustellen, dass KI-Verbesserungen zu einer sichereren Pflege führen. In der sich schnell entwickelnden Welt der KI bleibt es ein erhebliches Risiko, die eigene Gesundheit einem Chatbot anzuvertrauen.
