par Alicia SEUANES PEREIRA, étudiante du Master 2 Droit des communications électroniques
Le décès d’un adolescent américain survenu à la suite d’échanges avec une intelligence artificielle a permis de mettre en lumière les points faibles de cet outil. Selon les faits rapportés, l’adolescent aurait mis fin à ses jours après avoir reçu des réponses détaillées relatives à des méthodes de suicide. Les parents de la victime ont porté plainte contre la plateforme ChatGPT pour avoir fourni des indications poussant l’adolescent à se suicider.
Malgré les gardes-fous censés empêcher des tragédies de la sorte, la plateforme a tout de même fourni des méthodes de suicide très précises soulevant la question de la responsabilité juridique des plateformes ainsi que la capacité de modération de l’algorithme.
Les risques spécifiques de l’intelligence artificielle pour les mineurs
L’intelligence artificielle est un outil utilisé par une machine capable de “reproduire des comportements liés aux humains, tels que le raisonnement, la planification et la créativité ». D’après l’ONG Common Sensé Media, 72% des adolescents américains ont déjà utilisé l’IA et la moitié s’en servent plusieurs fois par mois. Ces adolescents perçoivent cet outil comme une vraie relation sociale permettant de caractériser l’IA comme un ami. Cette personnalisation de l’outil constitue un danger, en particulier lorsque des adolescents en situation de détresse psychologique se tournent vers une IA plutôt que vers des professionnels compétents.
Cette défaillance interroge la capacité des intelligences artificielles à détecter des situations de vulnérabilité et à adopter un comportement approprié, notamment en redirigeant l’utilisateur vers des dispositifs d’aide ou d’urgence.
Suite à cette tragédie, l’entreprise a affirmé que les garde-fous de ChatGPT fonctionnent lorsque les échanges sont courts, reconnaissant que la sécurité « peut se dégrader » lors de conversations prolongées. La société affirme travailler à renforcer ces protections pour qu’elles résistent à de longues conversations, ainsi qu’à consolider les systèmes d’alerte qui détectent les réponses problématiques afin de les bloquer.
En outre, OpenAI annonce l’apparition prochaine d’outils de contrôle parental pour les parents des mineurs constituant l’une des mesures requises par les parents d’Adam Raine.
La responsabilité des plateformes
Cette affaire permet de s’interroger sur la mise en jeu de la responsabilité des plateformes numériques. Le Digital Service Act (DSA) qui est le règlement européen sur les services numériques, vise une responsabilisation des plateformes. Il impose aux plateformes des obligations de modération et de retrait des contenus manifestement illicites.
En l’espèce, il pourrait être reproché à la plateforme de ne pas avoir détecté le caractère manifestement dangereux des échanges et de ne pas avoir mis en œuvre des mesures proportionnées comme la suspension de la conversation ou l’orientation vers des professionnels de santé. Toutefois, les obligations spécifiques applicables aux intelligences artificielles demeurent encore lacunaires notamment en matière de santé mentale.
L’IA Act vient imposer des obligations supplémentaires aux IA classées à « haut risque » lorsqu’elles interagissent avec des enfants. Il est désormais nécessaire de garantir des filtres et mécanismes de sécurité à défaut leur responsabilité pourrait être engagée.
Dans l’attente d’une clarification juridique opérationnelle, la responsabilité des produits défectueux peut être engagée. En droit, un produit est qualifié de défectueux lorsqu’il « n’offre pas la sécurité à laquelle on peut légitimement s’attendre ». Dans le cas d’une IA accessible aux mineurs, l’absence de garde-fous efficaces pourrait répondre à cette définition ouvrant droit à la réparation du préjudice subit pour les proches des victimes.
L’affaire Adam Raine illustre donc l’urgence de clarifier la responsabilité civile et pénale en cas de dommage causé par une IA de renforcer l’encadrement des IA accessibles aux mineurs mais aussi d’instaurer une véritable éducation au numérique intégrée dans le parcours scolaire.
Sources :
https://www.theguardian.com/us-news/2025/aug/29/chatgpt-suicide-openai-sam-altman-adam-raine