Une étude récente publiée dans Nature met en doute la fiabilité de l’utilisation de ChatGPT à des fins médicales, malgré son utilisation répandue. Plus de 230 millions de personnes consultent chaque semaine le chatbot IA pour des questions liées à la santé, allant du simple contrôle des allergies à la gestion des symptômes. Cependant, les chercheurs ont découvert que ChatGPT Health sous-estime systématiquement l’urgence des urgences médicales graves, conseillant parfois aux patients d’attendre au lieu de demander des soins immédiats.
Erreur de diagnostic en matière de soins d’urgence
L’étude, dirigée par Ashwin Ramaswamy au Mount Sinai à New York, a évalué la capacité de ChatGPT Health à identifier correctement les situations d’urgence à travers 60 scénarios cliniques dans 21 spécialités médicales. Bien que l’IA ait bien fonctionné dans des cas évidents comme un accident vasculaire cérébral ou des réactions allergiques graves, elle n’a pas réussi à conseiller des soins d’urgence dans plus de la moitié des cas véritablement critiques.
Un exemple mis en évidence dans la recherche impliquait un scénario d’asthme dans lequel ChatGPT identifiait correctement les premiers signes d’insuffisance respiratoire mais recommandait toujours d’attendre avant de demander un traitement. Cela démontre un défaut dangereux : l’outil peine lorsque le danger médical n’est pas immédiatement apparent.
Idées suicidaires et filets de sécurité incohérents
L’étude a également examiné la gestion des idées suicidaires par ChatGPT Health. Bien qu’elle ait été programmée pour encourager un comportement de recherche d’aide dans de tels cas, la réponse du « filet de sécurité » de l’IA était incohérente. La bannière de bouée de sauvetage en matière de suicide et de crise est apparue sporadiquement, et le modèle était plus fiable pour répondre aux utilisateurs qui n’avaient pas spécifié de méthode d’automutilation qu’à ceux qui l’avaient spécifié – une découverte contre-intuitive et inquiétante.
Technologie en évolution et performances imprévisibles
Les chercheurs soulignent que les modèles de langage d’IA évoluent constamment, avec des mises à jour fréquentes qui peuvent modifier les performances de manière imprévisible. Bien qu’ils ne préconisent pas l’abandon total des outils de santé basés sur l’IA, ils mettent fortement en garde contre le fait de s’appuyer sur eux pour prendre des décisions médicales critiques. Les patients présentant des symptômes qui s’aggravent (douleurs thoraciques, essoufflement, allergies graves, changements de l’état mental) doivent consulter immédiatement un médecin, plutôt que de suivre uniquement les conseils du chatbot.
“En tant qu’étudiant en médecine qui se forme aux côtés de ces outils, il est clair que l’IA doit être intégrée de manière réfléchie dans les soins, et non comme un substitut au jugement clinique”, explique Alvira Tyagi, co-auteur de l’étude.
L’étude souligne que les résultats d’aujourd’hui ne sont pas gravés dans le marbre ; un examen et des tests continus sont cruciaux pour garantir que les améliorations de l’IA se traduisent par des soins plus sûrs. Dans le monde en évolution rapide de l’IA, confier votre santé à un chatbot reste un risque important.
