l’AI Act, un début d’interdiction de la notation sociale : faut-il aller plus loin ?

par Mathis LECLERC, étudiant du Master 2 Droit des médias électroniques

« L’intelligence artificielle est une vraie révolution technologique. Elle change déjà nos vies et nos économies depuis une dizaine d’années, mais nous ne sommes qu’au début de son immense potentiel transformateur. L’arrivée de l’IA générative, avec des logiciels comme ChatGPT qui produisent du langage, des images, des sons, du code ou des vidéos en quelques secondes, va encore accélérer ces bouleversements. Mais on ne peut pas laisser aux entreprises qui développent leurs systèmes le soin de définir elles-mêmes les règles encadrant leurs activités quand celles-ci touchent à l’intérêt général. Il faut des repères, des cadres clairs. Définir ce qui est souhaitable et conforme à nos valeurs, et interdire ce qui ne l’est pas. »
Thierry Breton, commissaire européen au Marché intérieur

L’arrivée de l’AI Act, projet de loi visant à réglementer les intelligences artificielles tout en permettant l’innovation : une première mondiale

Le droit du numérique a connu en cette fin d’année 2023 une nouvelle évolution remarquable à l’échelle Européenne : le 8 décembre, un accord politique a été trouvé entre les différents législateurs de l’Union Européenne afin d’établir une réglementation encadrant les Intelligences Artificielles (IA).

Nommé « Artificial intelligence Act » (AI Act), ce nouveau texte prône une régulation par le risque, selon les dangers inhérents aux possibilités offertes par chaque type d’IA, et vient poser des interdictions. Parmi les plus importantes, on retrouve :

La mise en place de systèmes de catégorisation biométrique qui utilisent des caractéristiques sensibles (par exemple, les convictions politiques, religieuses, ou philosophiques, l’orientation sexuelle, etc.) ;
L’extraction non ciblée d’images faciales à partir d’Internet ou d’images de vidéosurveillance pour créer des bases de données de reconnaissance faciale ;
La reconnaissance des émotions sur le lieu de travail et dans les établissements d’enseignement ;
Les utilisations détournées de l’IA visant à exploiter les vulnérabilités des personnes (en raison de leur âge, de leur handicap, de leur situation sociale ou économique) ;
Les systèmes d’IA qui manipulent le comportement humain pour contourner son libre -arbitre ;
Ou encore la notation sociale (ou score social) basée sur le comportement social ou les caractéristiques personnelles des individus.

Représentant un risque « inacceptable » selon le projet de loi, ce système de notation sociale est aujourd’hui considéré par l’Europe comme l’un des plus grands dangers liés aux intelligences artificielles.

La notation sociale, système contraire aux droits fondamentaux et à la dignité humaine

La notation sociale, aussi appelée « score social » est un système permettant d’attribuer une note, un score à un individu en fonction de son comportement dans son cadre personnel ou professionnel. Cette notation peut ensuite être utilisée pour restreindre l’accès aux individus à certains services.

L’existence d’un tel système ne date pas d’hier. La Chine, pays précurseur en la matière, a développé son propre modèle depuis 2014, le « crédit social ». L’ensemble de la population est surveillée, et les individus peuvent se voir empêcher l’accès à des services tels que les transports aériens et ferroviaires, l’accès au logement ou aux aides sociales, en raison d’un score trop bas.

L’interdiction de ce type de système extrêmement liberticide fait de nos jours l’objet d’un large consensus en Europe. En 2021, le Parlement européen considérait déjà que : « Toute forme de notation normative des citoyens à grande échelle […] entraîne une perte d’autonomie, menace le principe de non-discrimination et ne peut être considérée comme conforme aux droits fondamentaux, en particulier à la dignité humaine. »

Il était donc parfaitement logique que l’Europe prolonge son mouvement de pensée protecteur de nos droits fondamentaux dans l’AI Act. Les intelligences artificielles et leurs algorithmes représentent aujourd’hui l’une des techniques phares dans le cadre de la mise en place d’une notation sociale à grande échelle.

Une réponse efficace aux problématiques récentes d’algorithmes aux variables discriminatoires

Un rapport de la Quadrature Du Net, association de défense et de promotion des droits et libertés sur Internet, publié le 27 novembre 2023, a récemment révélé que nos propres administrations utilisaient déjà ce type de système en y intégrant des variables discriminatoires. Par exemple, l’algorithme de sélection des dossiers de la Caisse d’Allocations Familiales (CAF) est basé sur un « score de suspicion » attribué à chaque individu.

Ce score est alors lui-même basé sur des variables, telles que les revenus de l’individu, le fait d’habiter dans un quartier défavorisé, ou encore la situation professionnelle. Pour rappel, une distinction opérée entre les personnes physiques sur le fondement de leur lieu de résidence, ou encore de leurs revenus, est strictement interdit par l’article 225-1 du Code pénal, relatif à la discrimination.

La Quadrature du Net souhaite sensibiliser également sur le caractère non isolé de telles pratiques : « L’Assurance maladie, l’Assurance vieillesse, les Mutualités Sociales Agricoles ou dans une moindre mesure Pôle Emploi : toutes utilisent ou développent des algorithmes en tout point similaires (…) une lutte à grande échelle est nécessaire ».

La majorité des Intelligences Artificielles étant construites sur la base d’algorithmes, il semblerait alors que le règlement puisse être une réponse efficace aux problématiques rencontrées actuellement.

Cependant, si cette mesure d’interdiction se veut, comme le souhaitait Thierry Breton, « protectrice de l’état de droit et des libertés fondamentales propres à nos démocraties », l’Europe, qui s’attache à déclarer l’illégalité d’un tel système dans le cadre des intelligences artificielles, semble néanmoins oublier que la notation sociale s’est déjà implémentée dans notre société, et ce bien avant l’arrivée des IA.

La notation sociale, un système faisant déjà partie intégrante de notre société

De nos jours, notre société et une partie de notre économie sont basées sur ce système de notation sociale. Un des meilleurs exemples est celui des avis en ligne : Quand l’on commande un bien sur Internet, quand on cherche un bon restaurant, ou un service particulier, notre réflexe est presque toujours d’aller regarder les avis partagés par les autres utilisateurs afin de s’assurer de la qualité du bien ou du service qui nous intéresse, et connaître la satisfaction générale. Ces avis prennent souvent la forme d’une notation, qui va directement être rattachée au service ou à la personne et influencer nos choix, mais également l’exercice de leur activité.

Pour autant, ce système d’avis est-il discriminant ? La réponse est assez complexe. Certains services comme Uber, ou encore BlaBlaCar, vous proposent d’octroyer une note, non pas à un service global, mais directement à une personne (en l’occurrence, un livreur ou un conducteur). Comment alors être certain qu’une note donnée par un utilisateur n’ai pas été prise sur des critères discriminatoires ? C’est une problématique grave, en ce que ces notations peuvent directement influer sur la carrière de ces travailleurs, et nous sommes tous aujourd’hui une variable du système.

Les dispositions concernant l’interdiction de l’utilisation des systèmes de notation sociale dans le cadre des intelligences artificielles et des algorithmes constituent un pas en avant conséquent vers un monde assurant au mieux la protection de nos droits fondamentaux et prévenant les dérives telles que celles rencontrées en Chine. Cependant, ce système n’a pas attendu l’IA pour se développer et cause déjà des troubles dans notre société actuelle.

Si le système de notation sociale est, selon l’Europe, un outil susceptible d’être discriminatoire et de porter atteinte à la dignité humaine, pourquoi limiter son interdiction aux seuls systèmes basés sur une IA ?

SOURCES :

CRÉDITS :

Image d’illustration de vectorjuice sur Freepik