Dans le folklore numérique, Internet est dirigé par des lois officieuses comme la célèbre règle 34 disposant que : « If it exists, there is porn of it – no exception ». Le principe est clair : tout ce qui existe peut être détourné en contenu pornographique. La règle a été mise en lumière au début des années 2000 lorsque Peter Morley-Souter tombe sur un site web pornographique mettant en scène les personnages de Calvin et Hobbes. Au fil des années, la règle a connu des ajouts et dérivés tel que : « If it exists, there is a parody of it on YouTube » et les œuvres destinées à la jeunesse n’y font pas exception. Le terme d’« Elsagate », du nom du personnage Disney, fait référence à cette pratique de plus en plus inquiétante.

Le divertissement en ligne à destination de la jeunesse représente un formidable potentiel financier. À titre d’exemple, en France, le temps de visionnage de contenu « Famille et Éducation » sur YouTube a augmenté de 140 % entre 2015 et 2016. « Les kids, c’est un des verticaux les plus importants de YouTube, l’équivalent de 10 à 20 % du temps passé sur la plateforme » indique Hossein Adibi. Cependant, toute entreprise florissante implique son lot de parasites et YouTube a récemment fait les frais de l’incursion d’intrus dans son algorithme. La faillibilité du système a révélé la présence de contenus néfastes à destination des enfants, entre autres des parodies malsaines et une exposition critique à la publicité que le youtubeur français Le Roi des rats a dénoncées dans un podcast. La protection des mineurs, enjeu incontournable à l’ère numérique, est au cœur de ce camouflet essuyé par YouTube.

Des parodies et des détournements nocifs à la portée des enfants

Il est très difficile d’estimer combien peut rapporter une vidéo monétisée, les débats font rage et les articles tentant d’expliquer le fonctionnement du système de rémunération YouTube s’enchaînent sans pouvoir l’établir précisément et pour cause : le dispositif varie énormément selon le contenu (qui doit être original), la publicité et les potentiels placements de produits présents dans la vidéo. Nous pouvons, néanmoins, affirmer sans prendre de risque qu’une vidéo monétisée comptabilisant plusieurs millions de vues a de bonnes chances de générer un certain revenu. Ceci est indispensable pour saisir, au-delà d’une intention purement malsaine, la stratégie mise en place par les personnes proposant des détournements de célèbres personnages de dessins-animés. Les vidéos parodiques de Kids Toon TV*, une chaîne utilisant des personnages Disney qu’elle anime dans des situations dérangeantes, ont été visionnées près de vingt-cinq millions de fois depuis les trente derniers jours et ses revenus annuels sont estimés dans une fourchette allant de soixante-dix mille à un million d’euros par le site statistique Social Blade.

Rien n’empêche quelqu’un de parodier – aussi sordidement est-ce fait – des personnages de fiction. Là où le bât blesse est quand ces parodies se retrouvent suggérées aux jeunes usagers de YouTube car elles ont réussi à passer à travers les mailles du filet algorithmique de l’application, notamment le mode restreint que les parents peuvent activer. Les vignettes tape-à-l’œil retiennent facilement l’attention des enfants, les titres accrocheurs (catchy ou clickbait) suscitent la curiosité chez cette tranche de la population très sensible à ces codes et ils sont, pour la plupart, incapables d’en déceler préalablement la nocivité en raison de leur très jeune âge, d’autant plus quand on sait que même les adultes sont sensibles au clickbait. Leurs personnages favoris sont présents sur la vignette de la vidéo suggérée, cela suffit à causer le clic de trop les menant au-devant d’un contenu totalement inapproprié. Avant d’être bloquée, la vidéo « Peppa Pig Crying at the Dentist Doctor Pull Teeth! » comptait cent mille vues et montrait le personnage Peppa Pig, sur fond sonore de pleurs d’enfants, se rendre chez le dentiste et voir ses dents arrachées. Malgré quelques mesures prises par YouTube, comme celle privant de monétisation les vidéos illustrant des personnages d’enfants dans des situations inappropriées, ces continus ne cessent d’être proposés et repostés. Sans essentialiser à tous les enfants, Sylvia Bréger mettait déjà en garde contre la violence des images sur Internet en 2009 : « Les impressions de stupeur, les perceptions physiques et psychologiques ne durent que quelques secondes. Quant à la période de stress, celle-ci peut persister de plusieurs minutes à plusieurs jours et le traumatisme, s’étaler sur plusieurs années ».

Si la présence d’une volonté humaine dans ce sombre marché est indiscutable, la responsabilité d’une intelligence artificielle n’est pas non plus à exclure.

Un constat amer pour l’intelligence artificielle, à la fois inefficace et complice

De quelle manière ces vidéos finissent-elles par être proposées aux enfants ? Elles trompent l’algorithme YouTube, chargé de filtrer les contenus susceptibles de recevoir une restriction d’âge, grâce au titre et aux mots-clés. De plus, les bandes sonores très dépouillées de ces vidéos – composées pour le principal de bruitages – couplées à l’animation de faible qualité empêche le robot Content ID de YouTube de détecter une quelconque violation au droit d’auteur. Dans un long billet décrivant, illustrations à l’appui, ce lugubre commerce, James Bridle le désigne comme une « production industrialisée du cauchemar ».

Cette formulation est loin de l’hyperbole. Camille Hoenen, animatrice 3D au sein du studio Blue Spirit à Angoulême, nous explique un peu mieux les moyens employés à l’occasion d’une interview que l’animatrice nous a gracieusement accordée : « Ce sont des techniques de cut-out (ou vectorielle en français) et de 3D qui sont utilisées en l’espèce, elles coûtent bien moins chères, sont plus simples et rapides qu’une animation 2D traditionnelle notamment parce qu’elles permettent, par le biais du rigging, de construire un squelette qui servira de base à toutes les animations des personnages (on ne redessinera donc pas le personnage plusieurs fois). Il suffit ensuite de changer le design extérieur du personnage, qui lui aussi est généralement préenregistré. Le phénomène est d’autant plus exacerbé qu’il existe des modèles de rigging disponibles sur internet que des studios peu scrupuleux s’approprient, mais aussi des décors ou des animations préfabriqués ». Dans son enquête qu’il nomme The Algorithmic Apocalypse, le journaliste Tim Pool démontre que d’autres intelligences artificielles seraient à l’œuvre pour générer ce type de contenu. Nombre de ces vidéos ont une trame et des séquences d’animation similaires, seuls l’enchaînement de ces séquences et la customisation des personnages variant. Selon Tim Pool, il y aurait des programmes disposant d’une banque de vignettes et de personnages prêts à servir que l’intelligence artificielle générerait ensuite automatiquement d’après les tags les plus populaires sur YouTube. Le gérant de la chaîne YouTube The Outer Light pousse son analyse plus loin en comparant plusieurs vidéos et conclut : « They’re like numbers that they put in a different order and then are repackaging them but they always have the same scenes over and over again ». La production est bel et bien industrialisée au regard de la quantité de vidéos fabriquée – à la chaîne et selon la popularité d’un simple tag – et de leur potentiel viral.

Tandis que Carlos Moedas, commissaire européen à la recherche, à la science et à l’innovation, regrette la perception pessimiste de l’intelligence artificielle par une majorité d’individus, l’idée qu’une intelligence artificielle puisse, à partir des tendances, établir des scripts et générer un contenu vidéo en conséquence n’a rien de rassurant. Cependant, comme le rappelle Carlos Moedas : « L’intelligence artificielle n’est pas une menace. La façon dont nous l’utilisons en est une ». Il faudrait, outre des actions concrètes de YouTube pour censurer cette industrie, localiser l’acteur dissimulé derrière cette production massive mettant la jeunesse en danger.

Des solutions qui peinent à convaincre

Les réponses fournies par YouTube pour se désenliser satisfont peu. L’entreprise préconise l’utilisation de l’application YouTube Kids (YTK), lancée en 2015, proposant des contenus vidéo adaptés aux enfants et même personnalisables selon les âges, tout en se déchargeant d’avance en admettant qu’aucun filtre n’est totalement fiable. YTK est rapidement devenue un acteur majeur de l’industrie du divertissement destiné à la jeunesse. Différentes catégories sont proposées aux parents, celles-ci prenant la forme en des playlists dont le contenu est filtré au moyen d’un algorithme dédié à cet effet, les playlists sont contrôlés ou signalés a posteriori par l’humain. Dans le souci de protéger les plus jeunes, alors que trois cents heures de vidéos sont uploadées chaque heure sur la plateforme, l’application YTK est née et, depuis, elle réunit près d’onze millions d’utilisateurs hebdomadaires.

La promesse de l’application a de quoi plaire : proposer des vidéos adaptées aux enfants de 3 à 9 ans avec la garantie d’un contenu dit safe, autrement dit sans image choquante ou troublante pour cette catégorie spécifique de la population, le tout chapeauté par la possibilité d’y installer un contrôle parental encadrant le temps que l’enfant peut passer sur l’application. C’est donc un marché extrêmement rentable qui s’est construit autour du concept : en s’implantant en France, courant 2016, l’application capitalisait déjà dix milliards de vues et d’après les derniers chiffres, cette dernière peut maintenant se vanter de soixante-dix milliards de vues. On peut, dès lors, comprendre les convoitises suscitées par un tel succès et la volonté de certaines personnes malveillantes d’en profiter pour y faire leurs propres bénéfices. Ici encore, elles parviennent à contourner l’algorithme de YouTube Kids et, une fois que l’enfant visionne une de ces parodies dérangeantes, il ouvre une véritable boîte de Pandore puisque lui seront ensuite suggérées des dizaines d’autres vidéos du même acabit. Il ne pourra dès lors que cliquer ; en effet, la fonction recherche (taper une requête) lui est indisponible, toujours dans l’optique paradoxale de le protéger. Conscient des objurgations parentales, YouTube a réagi de façon plus ferme le 22 novembre 2017 en affirmant, sur son blog officiel, avoir fait fermer plus de 50 chaînes et retiré des milliers de vidéos.

Le droit rencontre des difficultés pour lutter efficacement contre ces contenus. Le Code pénal, dans son article 227-24, réprime le fait de diffuser un message à caractère violent susceptible d’être vu ou perçu par un mineur, peu importe le support ou le moyen. Cependant, l’application pratique de cet article se révèle impossible tant il rompt l’équilibre entre protection des mineurs et préservation de la liberté d’expression à l’égard des majeurs (2). De son côté, à l’occasion de la journée des droits de l’enfant du 20 novembre 2017, le Conseil supérieur de l’audiovisuel (CSA) a rappelé son désir d’obtenir les moyens de protéger le jeune public sur internet et les réseaux sociaux. Une idée qu’Emmanuel Macron ne semble pas écarter, au plus grand plaisir d’Olivier Schrameck, président du CSA. La doctrine américaine penche également pour de nouveaux outils juridiques : « It is time to rethink how to protect children in the digital age, to develop a new regulatory framework » (3). Il n’est plus possible de se reposer uniquement sur l’action des géants du Web pour réguler les contenus en ligne, d’autant plus que le Elsagate n’est qu’une strate du danger encouru par les mineurs sur YouTube : des enfants sont exploités sur de nombreuses chaînes sans qu’il soit fait état de leur statut au regard du droit du travail et leur exposition à la publicité intempestive et aux commentaires de prédateurs sexuels forment également des problématiques cruciales.

*  La chaîne Kids Toon TV a finalement été clôturée par YouTube peu avant la publication de cet article. La chaîne existait depuis le 23 décembre 2009.

SOURCES :

(1) BRÉGER S., « La protection des mineurs sur Internet », AJ Pénal, 2009, p. 112.

(2) LEPAGE A., « Pédopornographie et contenus nocifs pour les mineurs sur internet : même combat ? », AJ Pénal, 2015, p. 402.

(3) CAMPBELL A. J., « Rethinking Children’s Advertising Policies for the Digital Age », Loy. Consumer L. Rev., vol. 29, 2016, p. 54.