« Dis Siri, Alexa, Google, donne-moi des idées d’articles à fort succès.
Dis GPT-3, écris un article à fort succès à ma place ».

        En termes d’innovation, Elon Musk a su ces dernières années se démarquer en proposant des projets faisant, tantôt rêver les enfants issus de la culture Star Wars avec notamment le programme SpaceX, tantôt inquiéter avec le projet Neuralink dont le but est l’intégration d’implants cérébraux d’interfaces neuronales directes. Aujourd’hui encore, il s’agit de sa dernière création intelligente autrement nommée « GPT-3 » qui fait suite au GPT-2, qui soulève une fois de plus des questions sur l’impact des intelligences artificielles sur nos vies.

La GPT-3, plus qu’un simple traitement de langage binaire ?

La GPT-3, développée par la société OpenAI, est un nouveau type de modèle intelligent de langage capable de générer du texte dit « naturel » (TLN). L’idée n’est plus pour l’humain de comprendre la machine, mais plutôt, de permettre à « un programme informatique de comprendre le langage humain tel qu’il est parlé »[1].  Dans la vie de tous les jours, de nombreuses autres applications reposent sur ce modèle comme par exemple « Google Translate, Cortona, Siri ou encore Alexa [2]».

Concrètement comment se passe l’apprentissage ?

Pour comprendre comment fonctionne le traitement de langage naturel, il convient de comprendre le processus par lequel une intelligence artificielle (IA) parvient à prendre des décisions intelligentes.

L’apprentissage par la machine est une manière pour celle-ci, d’apprendre quelque chose sans avoir été initialement programmé à cet effet lui permettant dès lors, d’obtenir des prédictions à partir d’un ensemble de données. Afin qu’elles soient exactes, il faut lui intégrer un certain nombre de données en fonction du résultat voulu. Données et prédictions seront supervisées par un programmateur, ce qui permettra à l’IA de retenir les correspondances à l’entrée et à la sortie de celle-ci. Ce processus repose sur deux notions que sont la Machine learning et le Deep learning.

           La machine learning est la technologie la plus ancienne. Elle repose sur un apprentissage structuré des données, c’est-à-dire qu’en amont est intégré au programme un certain nombre de données hiérarchisées par catégories possédant différents critères discriminants. Son rôle sera ainsi de pouvoir classer toutes nouvelles données similaires en fonction de ses données enregistrées, dans les différents groupes[3].

           Le deep learning, soit l’apprentissage profond, est plus complexe, car il permet à la machine de classer des nouvelles données non hiérarchisées en développant cette fois-ci par elle-même les caractéristiques discriminantes. Par exemple, pour reconnaître un loup d’un chien, elle se fonde sur les caractéristiques physionomiques, mais regarde également, le paysage. La caractéristique de loup sera privilégiée dans les paysages enneigés. C’est donc le Deep learning qui est privilégié dans le traitement naturel du langage. Flexible, il s’adapte plus particulièrement à la logique humaine.

Le deep learning appliqué au TLN permet, d’analyser le langage humain afin d’y extraire notamment des règles (grammaire, syntaxe, orthographe), des corrélations entre les mots, les groupes de mots utilisés le plus ensemble, le contexte d’utilisation. Le résultat sera retraduit en langage binaire pour la machine.

L’une des difficultés principales du langage humain est sa nature complexe tant au niveau de sa composition que les subtilités qui l’accompagnent en fonction du contexte ou de comprendre comment certains concepts sont connectés entre eux pour former une phrase, comme l’utilisation de l’ironie. D’autant plus que le langage humain est libre comparé au langage informatique dit plutôt structuré.

De ce point de vue, la GPT-3 n’innove en rien comparé à d’autres traitements de langage. L’un de ses gros avantages est son énorme « training set », c’est-à-dire l’apprentissage effectué en amont. Elle a été entraînée sur 175 milliards de paramètres et est ainsi désignée comme l’algorithme comportant le plus de données textuelles au monde. Ainsi, il n’est pas nécessaire que l’individu utilise beaucoup d’instructions pour obtenir un contenu « humain » qui soit lisible, subtile et adapté à son contexte.

Grâce à un système d’auto-complétion, elle peut créer des chaînes de mots voire des paragraphes entiers complémentaires les uns aux autres, permettant la construction de phrase totalement inédite, de fiction[4], articles de presse[5], traduire ou simplifier des langues étrangères ou sociales en quelques secondes.

La fin de la créativité des humains ?

Après avoir abandonné, dans une certaine mesure, la capacité des humains à écrire à la main du fait des traitements de texte numérique, beaucoup, vois en la GPT-3 le précurseur de la fin de la créativité des humains. Auteurs, scénariste, journaliste ne serviront qu’à vérifier et corriger les textes écrits par leurs cadets les robots.

Cependant, cette technologie n’est pas encore au point pour penser et ainsi comprendre le sens profond de ce qu’elle écrit. Elle manque terriblement de prévisibilité dans ses propos, rendant incertain le contenu généré. De plus, elle est incapable de répondre à des questions dites de bon sens[6]. Enfin, les règles propres à chaque société de bienséance, respect d’autrui, diplomatie sont des notions que seul un humain parvient à maîtriser au travers de son langage, ce qui a conduit la GPT-3 à tenir notamment des propos racistes.

Du générateur de texte au générateur de Fake News ?

Néanmoins, une technologie capable de générer des textes en quelques secondes dans un style textuel spécifique à une personne donnée sous réserve qu’on le lui intègre peut conduire à des dérives importantes telles que la propagation des Fake news (fausses informations), voir faciliter l’usurpation d’identité.

En France, la lutte contre la désinformation du public, au travers notamment du phénomène des fake news, existe depuis 1881 avec un renforcement en 2018. L’un des objectifs de ces lois est d’éviter toute propagation des fausses informations. En effet, d’après une étude publiée sur Science Magazine, une fausse information a 70% de chance d’être plus partagée sur les différents réseaux qu’une information véridique[7].

La loi du 29 juillet 1881 sanctionne dans son article 27, la publication, diffusion ou reproduction de nouvelles fausses, faite de mauvaise foi ayant pour objectif de troubler la paix publique ou susceptible de la troubler. Cependant, la nécessité de prouver que l’information est une « nouvelle fausse » rend son contrôle difficile, imprévisible puisque le caractère mensonger doit être établi, ce qui est en pratique complexe sauf les cas où la fausseté est flagrante.

La loi du 22 décembre 2018 relative à la lutte contre la manipulation de l’information n’est pas en reste, puisque, si elle permet de sanctionner l’envoi massif et automatique d’allégations ou d’imputations d’un fait dépourvues d’éléments vérifiables de nature à la rendre vraisemblable, son champ d’action est limité à la période électorale.

Par ailleurs, parfois le style, le vocabulaire utilisé et les intérêts d’écriture permettent de définir une personne en l’identifiant par ce biais (cela peut même être considéré comme une donnée identifiant suivant une définition large du RGPD). De sorte que si une personne alimente le programme avec des textes spécifiques à une personne, il sera facile pour la machine de reproduire des écrits dans un style similaire pour usurper l’identité d’une autre personne. Cela peut ainsi conduire à rendre plus difficile l’identification de l’auteur de la fake news, voire de soupçonner d’autres personnes totalement étrangères à la note.

C’est pour éviter notamment ces utilisations détournées qu’OpenAI limite l’accès en obligeant les utilisateurs à faire une demande préalable et refuse un code open-source comme il était initialement prévu pour la GPT-2.

Paradoxalement, l’un des moyens les plus efficaces dans la lutte contre la diffusion massive des fausses informations générés par les modèles TLN est d’utiliser cette même technologie. En tant que réseau neuronal de type transformer, elle peut tout aussi bien générer du texte qu’au contraire détecter les détails, subtilités linguistiques qu’un programme similaire serait susceptible de produire. D’autant plus que sa capacité titanesque d’apprentissage lui permet d’intégrer des clefs d’analyses lui permettant d’identifier des fake news écrites par un humain.

Ainsi, cette avancée mérite d’être saluée à ce niveau, mais également, car met fin à la course du traitement de langage naturel comme le déclare Wacim Belblidia.

Sources:

[1] LEMAGIT., dossier :  traitement du langage naturel, octobre 2018

[2] BASTIEN L., Traitement naturel du langage : tout savoir sur le Natural Language Processing, Lebigdata.fr, 2 août 2019

[3] SEARCH ENGINE MARKETING., Quelles sont les différences entre le Deep Learning et le Machine learning, ionos.fr, 22 mai 2020

[4] GWERN., GPT-3 creative fiction, Gwern.net 

[5] THE GUARDIAN., A robot wrote this entire article. Are you scared yet, human ?, the guardian.com, 8 septembre 2020

[6] LACKER K., Giving GPT-3 a Turing Test, 6 juillet 2020

[7] VOSOUGHI S., ROY D., ARAL S., The spread of true and false news online, Science.sciencemag.org, 9 mars 2018