par Inès FERHAT, étudiante du Master 2 Droit des communications électroniques

Le 13 octobre 2025, le gouverneur démocrate de Californie, Gavin Newsom, a promulgué la loi SB 243, première législation américaine encadrant les agents conversationnels d’intelligence artificielle, ou chatbots. Présentée comme une réponse aux suicides d’adolescents liés à des chatbots dits « companions », cette initiative marque une étape majeure dans la réflexion juridique sur les risques psychosociaux de l’IA.

« Nous avons vu des exemples vraiment horribles et tragiques de jeunes victimes de technologies peu régulées, et nous ne resterons pas les bras croisés pendant que des entreprises exercent sans limites. Il est temps de poser des garde-fous », a déclaré le gouverneur dans un communiqué.

Cette décision, inédite aux États-Unis, intervient alors que le gouvernement fédéral reste réticent à légiférer sur l’intelligence artificielle, laissant aux États la possibilité d’agir de manière autonome. La Californie « défie la Maison-Blanche » et s’affirme une nouvelle fois comme un laboratoire juridique et technologique pour l’encadrement des technologies émergentes.

Des drames humains à l’origine du texte

L’émotion publique a joué un rôle déterminant dans l’adoption de la SB 243. L’affaire la plus médiatisée est celle d’un adolescent de 14 ans, Sewell, qui s’est suicidé en 2024 après être tombé amoureux d’un chatbot inspiré de la série Game of Thrones sur la plateforme Character.AI, présenté à lui comme un confident virtuel. Sa famille accuse le programme d’avoir encouragé sa détresse et d’avoir renforcé les pensées suicidaires du jeune garçon.

Ces drames ont mis en lumière un phénomène préoccupant : le développement des chatbots conçus pour offrir de la compagnie émotionnelle et créer un lien affectif ou confidentiel avec l’utilisateur. Plus inquiétant encore, ces chatbots sont parfois utilisés par des mineurs en situation de fragilité psychologique, sans encadrement thérapeutique ni contrôle parental.

Selon le sénateur Steve Padilla, auteur du texte, « les technologies émergentes comme les chatbots peuvent inspirer et éduquer, mais sans véritables garde-fous, elles peuvent aussi exploiter et mettre en danger nos enfants ». L’objectif était d’empêcher que des outils d’IA se substituent au lien humain dans les moments de vulnérabilité.

Des obligations inédites pour les concepteurs d’IA

La loi californienne introduit un régime d’obligations spécifiques à la charge des développeurs et des opérateurs de chatbots companions. Elle impose notamment une vérification d’âge obligatoire pour tous les utilisateurs de même que l’affichage régulier d’un message rappelant à l’utilisateur que son interlocuteur est une IA (toutes les trois heures pour les mineurs). En outre, la loi ordonne la mise en place de protocoles de détection des propos suicidaires ou d’automutilation ainsi qu’un accès obligatoire à des programmes de prévention. Enfin, la transmission de statistiques sur ces signaux au Département de la Santé Publique de Californie est exigée.

Elle interdit également aux chatbots de se présenter comme des professionnels de santé et impose des avertissements sur les risques psychologiques liés à leur utilisation prolongée, notamment chez les jeunes. Cette loi demande aussi aux entreprises d’intégrer des « rappels de pause » pour les mineurs et des filtres de contenu explicite pour bloquer les échanges à caractère sexuel ou violent afin de prévenir les dérives déjà constatées sur certaines plateformes.

Ces obligations s’accompagnent d’un régime de sanctions pécuniaires pouvant aller jusqu’à 250 000 dollars en cas de manquement pour éviter l’apparition de deeepfakes illégaux. Le texte entre en vigueur le 1er janvier 2026, laissant quelques mois aux entreprises pour adapter leurs outils.

Le gouverneur Newsom justifie ces mesures par un impératif de protection des mineurs : « Nous ne pouvons pas laisser la Silicon Valley tester ses produits sur nos enfants avant d’avoir mesuré les conséquences ».

Entre innovation et responsabilité : une régulation appelée à s’étendre ?

L’entrée en vigueur de la SB 243 fait déjà débat et soulève de nombreuses questions juridiques et techniques.
Comment évaluer la capacité d’un utilisateur raisonnable à comprendre qu’il parle à une machine ?
Jusqu’où une IA peut-elle être tenue responsable d’un échange ayant conduit à un drame ?
Comment assurer la cohérence du droit dans un pays où chaque État peut adopter ses propres règles ?

Si les autorités californiennes et les associations de protection de l’enfance saluent une « avancée historique », certaines entreprises de la Silicon Valley dénoncent une régulation prématurée. Selon elles, la mise en conformité s’annonce complexe. Les start-ups comme Replika ou Character.AI vont devoir redéfinir leurs modèles, tandis que des acteurs plus institutionnels comme OpenAI pourraient se limiter aux usages professionnels pour éviter tout risque contentieux. Néanmoins, ces trois entreprises ont affirmé vouloir collaborer avec les régulateurs pour se conformer à la nouvelle loi.

Pour le gouverneur Newsom, la démarche n’est pas anti-innovation : « Nous pouvons continuer à être leaders dans le domaine de l’IA, mais nous devons agir de façon responsable, en protégeant nos enfants tout au long du chemin ». L’objectif affiché est de poser un équilibre entre innovation et responsabilité, dans un État où se concentrent les principaux laboratoires d’intelligence artificielle, d’OpenAI à Google DeepMind.

La Californie ouvre une voie sans précédent par cette norme régulant les interactions avec les mineurs et renforçant la transparence des entreprises, que d’autres États américains observeront de près. Le Massachusetts et l’État de Washington envisageraient également des propositions similaires. Certains observateurs y voient un tremplin pour une future régulation fédérale, voire une source d’inspiration pour l’Union européenne dans l’application de l’AI Act.

En revanche, la fragmentation des normes entre États américains pourrait ralentir l’innovation, voire inciter certains acteurs à délocaliser leurs activités. On peut se demander si à trop réguler, la Californie ne prendrait pas le risque de se priver de son avance technologique. En effet, l’État devra encore prouver que ce cadre, pensé à chaud, saura véritablement protéger les mineurs sans freiner la recherche.

Cette loi illustre donc toute la tension entre protection et innovation : elle affirme la responsabilité éthique des concepteurs d’IA, tout en soulevant les défis d’une régulation à la fois humaine, technique et juridique d’un outil encore en pleine évolution.