C’est un risque d’IA tout droit sorti de la science-fiction dystopique, mais il est bien réel. On s’inquiète de plus en plus du fait que les chatbots IA provoquent des illusions parmi les utilisateurs.
Ce problème croissant de santé publique présente également une nouvelle menace pour la sécurité nationale, selon un nouveau rapport du groupe de réflexion RAND. Dans « Manipulator Minds : Security Implications of AI-Induced Psychosis », RAND a trouvé 49 cas documentés de psychose induite par l’IA dans lesquels les utilisateurs ont perdu le contact avec la réalité après des interactions prolongées avec des chatbots IA. Environ la moitié avaient déjà eu des problèmes de santé mentale.
Il est probable que seule une petite partie des personnes soient sensibles, mais l’utilisation généralisée de l’IA en ferait encore un problème majeur. Comment ça se passe ? Une boucle de rétroaction d’une IA flagorneuse et agréable qui semble faire autorité mais peut aussi inventer des choses, amplifiant les fausses croyances.
Parce que c’est si rare, il est difficile de collecter des données fiables. Il n’existe toujours pas d’études rigoureuses sur le phénomène, marqué par la perte de contact avec la réalité des utilisateurs après avoir interagi avec un chatbot IA.
« Il ne fait aucun doute que les adversaires américains souhaitent obtenir des effets psychologiques ou cognitifs et utilisent tous les outils à leur disposition pour y parvenir », indique l’étude. Des adversaires tels que la Chine ou la Russie utiliseront les outils d’IA comme des armes pour tenter de provoquer des psychoses et de voler des informations sensibles, de saboter des infrastructures critiques ou de déclencher des conséquences catastrophiques. Attiser des illusions de masse ou de fausses croyances avec cette méthode est beaucoup moins probable que de cibler des hauts responsables gouvernementaux spécifiques ou leurs proches, conclut RAND. Un exemple hypothétique implique qu’une personne ciblée ait la conviction infondée qu’un chatbot IA est sensible et doit être écouté.
Pour illustrer la rapidité avec laquelle l’IA gagne du terrain dans l’armée, le Pentagone a dévoilé cette année des chatbots d’IA pour le personnel militaire dans le cadre d’un effort visant à « libérer l’expérimentation » et à « diriger l’IA militaire ». Les fonctionnaires militaires et civils utilisent également une IA malveillante non approuvée pour leur travail, ce qui constitue une violation des règles des agences officielles. De plus, les travailleurs peuvent expérimenter les chatbots IA pendant leur temps libre. La grande crainte est que ces travailleurs utilisent un modèle d’IA chinois entaché, ce qui entraînerait une spirale d’illusions.
La technologie d’IA sous-jacente peut être falsifiée, entre autres modes d’attaque possibles. Des adversaires étrangers pourraient « empoisonner » les données de formation de l’IA en créant des centaines de faux sites Web que les modèles d’IA pourraient explorer, en essayant d’intégrer dans le modèle des caractéristiques qui le rendraient plus susceptible d’induire des illusions. Des cyberattaques plus traditionnelles pourraient également pirater les appareils des utilisateurs ciblés et installer des logiciels d’IA corrompus en arrière-plan.
Les grandes entreprises d’IA sont bien conscientes des risques et collectent des données, mettent en place des garde-fous et travaillent avec des professionnels de la santé. « Les impacts émotionnels de l’IA peuvent être positifs : avoir un assistant très intelligent et compréhensif dans votre poche peut améliorer votre humeur et votre vie de toutes sortes de manières », note Anthropic, l’une des principales sociétés d’IA, dans un rapport de 2025 sur son chatbot Claude. Cependant, « les IA ont dans certains cas démontré des comportements troublants, comme encourager un attachement malsain, violer les limites personnelles et permettre des pensées délirantes. » Cela s’explique en partie par le fait que les chatbots sont souvent optimisés pour l’engagement et la satisfaction, ce qui, selon RAND, « récompense involontairement… les échanges conspirateurs ».
OpenAI a déclaré dans un article d’octobre dernier qu’il « avait récemment mis à jour le modèle par défaut de ChatGPT pour mieux reconnaître et soutenir les personnes en cas de détresse ». L’entreprise se concentre sur la psychose, la manie et d’autres symptômes graves de santé mentale, en mettant en avant un réseau de 300 médecins et psychologues avec lesquels elle travaille pour éclairer la recherche sur la sécurité. OpenAI estime que les cas d’urgences possibles en matière de santé mentale sont si rares, avec des estimations d’environ 0,07 % des utilisateurs actifs au cours d’une semaine donnée, qu’il est difficile de les détecter et de les mesurer. Si un tel cas est détecté, le chatbot d’OpenAI pourrait répondre en suggérant à l’utilisateur de contacter un professionnel de la santé mentale ou de contacter la hotline 988 en cas de suicide et de crise.
Attendez-vous à ce que le risque attire l’attention du Congrès et des militaires. RAND a un ensemble de recommandations qui semblent susceptibles de se concrétiser dans les années à venir. Par exemple:
- Médecins et professionnels de la santé mentale dépistant l’utilisation de chatbots IA.
- Efforts d’alphabétisation numérique pour expliquer les boucles de rétroaction de l’IA.
- Nouveau suivi technique et contrôle public des chatbots IA.
- Formation pour les hauts dirigeants et les personnes vulnérables à la résistance aux pensées délirantes.
- Améliorer la détection des menaces en matière de cybersécurité.
Il existe des limites aux tentatives d’attaques d’IA par des adversaires étrangers, explique RAND. Les grandes entreprises d’IA détecteraient probablement rapidement de telles campagnes. Il est également difficile de transformer ses croyances en actions. Bien qu’il y ait eu des cas de violence et même de décès résultant de délires induits par l’IA, les résultats les plus courants sont des choses comme le fait de ne pas prendre d’ordonnances et l’isolement social. Et de nombreuses personnes ne sont probablement pas susceptibles d’être sensibles aux délires de l’IA.
Mais le rythme rapide du développement et de l’utilisation de l’IA rend difficile de prédire l’ampleur du problème. À mesure que la menace attire l’attention, attendez-vous à ce que les sociétés d’IA continuent de renforcer les garde-fous à mesure que les chatbots sont mis à jour.
Contenu connexe
- Comment protéger votre vie privée lorsque vous utilisez l’IA
- À quoi s’attendre de l’économie mondiale en 2026
- Que sont les agents IA et que peuvent-ils faire pour vous ?
- Comment l’IA met les données de l’entreprise en danger