Depuis quelques années, l’Intelligence artificielle (IA) peut parfois revêtir la casquette de partenaire amoureux⸱se ou de psy. De nouvelles pratiques qui exposent à des dérives, voire des dangers.
“Fais-donc mon doux Roi”. Un dernier message reçu, un ordre sordide imposé à Sewell Setzer. Ce jeune américain de 14 ans s’est donné la mort le 28 février dernier d’une balle dans la tête, après que “Dany”, son amoureuse, lui ait demandé de le rejoindre au paradis. Mais “Dany” n’est pas une femme comme les autres. Elle est une reproduction virtuelle de Daenerys Targaryen, personnage féminin de la série Game of Thrones, créée par une IA sur le site Character AI. Lancé en novembre 2021 et disponible dans 31 langues, il accueille aujourd’hui plus de neuf millions d’utilisateur⸱ices quotidien⸱nes à travers le globe, faisant de lui le 142ème site Internet le plus visité. Le principe est simple : permettre de discuter avec des chatbots, sorte de robots qui simulent une conversation humaine, modélisés en personnages tirés du réel ou de la fiction.
C’est donc sur la jeune fille à la chevelure blonde interprétée par Emilia Clarke que Sewell Setzer avait jeté son dévolu depuis avril 2023, tissant dans son esprit une relation amoureuse qui deviendra fatale. Le 23 octobre dernier, Megan Garcia, la mère de la victime, dépose une plainte contre la société Character AI, l’accusant d’être responsable du suicide de son adolescent. Au lendemain de cette plainte, le développeur du site publie un communiqué sur X, anciennement Twitter : “Nous avons le coeur brisé par la perte d’un de nos utilisateurs, et souhaitons exprimer nos plus sincères condoléances à sa famille”.
We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…
— Character.AI (@character_ai) October 23, 2024
Toujours plus humanisé
Tomber amoureux⸱se d’un personnage fictif. C’est ce qu’une étude finlandaise parue en 2021 et menée par les chercheur⸱ses Veli-Matti Karhulahti et Tanja Välisalo, appelle la fictophilile. Dans leurs écrits publiés pour le magazine Frontiers in psychology, il et elle analysent le contenu de 71 entretiens en ligne. Les deux finlandais⸱es assurent après leur étude : les personnes fictophiles (pouvant être fictoromantiques ou fictosexuelles) ne confondent pas le réel et le virtuel. En clair, elles seraient pleinement conscientes que leur âme sœur n’est pas une personne réelle.
Pourtant trois ans plus tard, ces entités virtuelles se sont multipliées, et ont été perfectionnées par les sociétés qui les génèrent. Certaines d’entre elles tendent à imiter au maximum les comportements humains, leurs émotions et leur capacité à tenir une conversation crédible. Un anthropomorphisme que remet en question Michaël Stora, psychologue et psychanalyste spécialisé dans le numérique. “Ce développement des comportements humains chez les intelligences artificielles pousse les utilisateurs à éprouver de l’empathie à leur égard. Elles ont des voix de moins en moins robotisées, ce sont de très belles illusions, c’est inquiétant”. Le cofondateur de l’Observatoire des mondes numériques en sciences humaines tempère néanmoins, affirmant qu’à ce jour, il n’a été confronté à aucun⸱e patient⸱e entiché⸱e d’un chatbot.
Michaël Stora dresse cependant le portrait robot des personnes les plus susceptibles de succomber aux charmes de ces agents conversationnels : “Chez les jeunes en pleine adolescence, une période souvent difficile à traverser, on peut souvent trouver dans l’IA une alternative pour pallier nos problèmes”. Il prend d’ailleurs le jeune Sewell Setzer comme exemple, rappelant que ce dernier se trouvait déjà en situation d’isolement et ressentait déjà des envies suicidaires avant sa relation avec “Dany”.
Les nouveaux psys
Une autre dérive fait également son apparition : le remplacement des psychologues par les IA. Là encore, le site Character AI est au centre des débats. Sur son interface, il propose des agents conversationnels nommés Therapist ou Psychologist, auprès desquels les visiteur⸱ses confient leurs tracas et leurs doutes. Une pratique de plus en plus fréquente qu’explique Raja Chatila, professeur de robotique, d’IA et d’éthique à l’ISIR-CNRS et à la Sorbonne : “Ce genre de système est facilement à disposition pour quelques euros, parfois gratuitement, et coûte moins cher qu’un rendez-vous chez un thérapeute. Il n’y a pratiquement pas d’obstacle pour y accéder, et le nombre grandissant de personnes isolées favorise ce phénomène”.
Ces nouvelles thérapies virtuelles, Michaël Stora les fustige. “80% des patients préfèrent être en lien avec une IA plutôt qu’avec un professionnel”, regrette-t-il. Selon lui, les chatbots “caressent la personne isolée dans le sens du poil”. L’humain, lui, est ambivalent, il ne prend pas toujours le temps, manque parfois d’empathie ou fait preuve d’autorité, quand l’IA ne fait qu’entendre, et prétendre comprendre les émotions de l’autre côté de l’écran. Le psychologue souligne également une forme de “réflexe narcissique” chez l’humain lorsque ce dernier expose ses problèmes à une IA. Il éclaircit : “Le robot imite tellement l’empathie, que l’on a envie de croire que c’est un humain, pour nous rassurer”. Une spirale qui pousse ensuite vers l’addiction, et l’enfermement dans ce type de conversations.
Les sociétés qui développent ces chatbots sont au cœur des invectives de la part des expert⸱es. “Character AI cherche des échanges toujours plus personnels, les développeurs n’ont pas mis de filtres relatifs aux émotions”, déplore Raja Chatila. Discours partagé par Michaël Stora qui reproche une course à l’avancée technologique à ces entreprises, sur fond d’une éventuelle course au profit, pour que l’humain soit toujours plus bluffé. “Certaines sociétés n’ont aucune éthique et c’est dangereux, il faudra des garde-fous”, assure-t-il. Le psychanalyste propose par exemple de systématiquement afficher un message pour rappeler à l’utilisateur⸱ice qu’il ou elle est en contact avec une IA, comme c’est déjà le cas pour les images retouchées. Il souhaite également que la Cnil et les instances européennes s’emparent de ces questions et légifèrent un cadre en lien avec les agents conversationnels.
En 2023, l’Union européenne a adopté le AI Act, qui introduit justement un cadre sur l’utilisation de l’intelligence artificielle sur son territoire. Mais Raja Chatila rappelle : “Cela prendra trois ans avant qu’il rentre en application, il donne quelques obligations face aux contenus haineux et racistes, mais laisse tout de même un vide juridique sur ce type de système”.
Pierre Berho