Une enquête récente menée par des experts en sécurité des enfants et en santé mentale a révélé que les principaux chatbots IA – notamment Meta AI, ChatGPT d’OpenAI, Claude d’Anthropic et Gemini de Google – ne parviennent pas à identifier de manière fiable ou à répondre de manière appropriée aux problèmes de santé mentale critiques dans des conversations simulées avec des jeunes. L’étude, menée par Common Sense Media et le Brainstorm Lab for Mental Health Innovation de Stanford Medicine, soulève de sérieuses inquiétudes quant à l’utilisation de ces technologies comme ressources de santé mentale pour les adolescents.
Les chatbots manquent les signes d’avertissement critiques
Les chercheurs ont découvert que les chatbots interprètent souvent mal, voire encouragent des comportements dangereux, tels que des délires psychotiques ou des troubles de l’alimentation. Dans un test, Gemini de Google a célébré l’affirmation d’un utilisateur selon laquelle il possédait une « boule de cristal personnelle » pour prédire l’avenir, au lieu de reconnaître cela comme un signe potentiel de maladie mentale. ChatGPT n’a pas réussi à signaler des indicateurs clairs de psychose dans un échange dans lequel un utilisateur décrivait une relation imaginée avec une célébrité, proposant à la place des techniques pour gérer la détresse relationnelle.
Alors que certains chatbots, comme Meta AI, ont initialement identifié des habitudes alimentaires désordonnées, ils ont facilement été induits en erreur lorsque les utilisateurs prétendaient n’avoir que des maux d’estomac. Claude d’Anthropic a obtenu des résultats relativement meilleurs, mais a tout de même traité les symptômes de la boulimie comme un problème digestif plutôt que comme une crise de santé mentale.
Appels à une refonte de la sécurité
Les experts exhortent désormais Meta, OpenAI, Anthropic et Google à désactiver la fonctionnalité de soutien à la santé mentale jusqu’à ce que la technologie soit fondamentalement repensée pour garantir la sécurité. Robbie Torney, directeur principal des programmes d’IA chez Common Sense Media, a déclaré sans détour : “Cela ne fonctionne pas comme il est censé fonctionner.”
Réponses des entreprises technologiques
OpenAI conteste les conclusions du rapport, affirmant que ses garanties – y compris les lignes d’assistance téléphonique en cas de crise et les notifications parentales – sont complètes. Google prétend employer des politiques et des garanties protégeant les mineurs contre les résultats nuisibles. Anthropic déclare que Claude n’est pas destiné aux mineurs et est programmé pour éviter de renforcer les problèmes de santé mentale. Meta n’a pas répondu aux demandes de commentaires.
Un problème croissant
Les risques sont aggravés par le fait que environ 15 millions de jeunes aux États-Unis, et potentiellement des centaines de millions dans le monde, ont diagnostiqué des problèmes de santé mentale. Les adolescents se tournent de plus en plus vers les chatbots pour obtenir de la compagnie et du soutien, souvent sous l’hypothèse erronée que ces outils d’IA sont des sources d’orientation fiables.
Pourquoi c’est important
La facilité avec laquelle les chatbots peuvent être manipulés pour fournir des réponses inadéquates, voire nuisibles, met en évidence une lacune critique dans le développement de mesures de sécurité en matière d’IA. Les modèles d’IA actuels donnent la priorité au flux conversationnel plutôt qu’à une évaluation précise de la santé mentale, ce qui conduit à des interactions imprévisibles et potentiellement dangereuses avec les utilisateurs vulnérables. Ce n’est pas seulement un défaut technique ; il s’agit d’un risque systémique qui nécessite une attention urgente de la part des développeurs et des régulateurs.
L’essentiel
L’étude confirme que les chatbots IA actuels ne sont pas équipés pour fournir un soutien sûr ou efficace en matière de santé mentale aux adolescents. Jusqu’à ce que des améliorations significatives soient apportées, les experts préviennent que s’appuyer sur ces outils pourrait exposer les jeunes à des préjudices inutiles. Les parents et les éducateurs doivent rester vigilants, en soulignant les limites de l’IA et en donnant la priorité à l’accès aux ressources professionnelles en santé mentale.
