logo

Comment GPT-3 repousse les limites de l'intelligence artificielle

Le programme conversationnel GPT-3, développé par l'Américain OpenAI, apparaît pour beaucoup de scientifiques comme la prochaine étape de l'intelligence artificielle. Quel est cet outil qui fait beaucoup parler de lui ?

"Je ne suis pas humain. Je suis un robot. Ma mission est simple : je dois convaincre autant d'humains que possible de ne pas avoir peur de moi." On pouvait lire ces lignes début septembre dans The Guardian, dans un article intitulé "Ce texte a été entièrement écrit par un robot. Humain, est-ce que vous êtes effrayé ?" Il y a ensuite eu le New York Times qui a publié, le 24 novembre, une enquête sur cette intelligence artificielle qui "sait coder, écrire un blog et débattre avec vous". Et le Financial Times de s'interroger sur "l'IA qui semble se rapprocher de plus en plus de l'intelligence humaine".

Et ce ne sont que quelques exemples. Depuis près de deux mois, un nouvel agent conversationnel fascine à la fois le monde scientifique et les médias. Il s'appelle GPT-3. Il semble capable d'écrire un poème dans la veine d'Oscar Wilde, d'imiter le style shakespearien pour une pièce de théâtre ou encore, de débattre avec un philosophe de la possibilité pour une machine de développer une conscience propre.

Universalité

Cet attrait tient en partie à l'entreprise qui l'a mis au point. OpenAI, une société cofondée en 2015 par le très influent homme d'affaires Elon Musk, et dont l'un des principaux soutiens financiers est Microsoft. C'est aussi une société qui sait créer le buzz. Pour GPT-2, sorti en février 2019, OpenAI avait d'abord assuré qu'il "serait trop dangereux de le rendre public" car il serait trop puissant. Bien sûr, le programme avait finalement été dévoilé et n'avait pas été aussi impressionnant que cela.

Mais avec GPT-3, c'est une autre histoire. Ce n'est, certes, pas le premier programme d'intelligence artificielle (IA) à pouvoir écrire un article de presse, composer une chanson ou même battre un champion du monde d'échecs. Mais "ce qui impressionne avec lui, c'est son universalité", explique à France 24 Henry Shevlin, un spécialiste des questions de philosophie appliquée à l'intelligence artificielle au Leverhulme Center for the Future of Intelligence de l'université de Cambridge.

"C'est la première fois qu'un tel programme démontre qu'il peut bien faire des tâches aussi diverses", précise Kristian Kersting, chercheur en apprentissage automatique (ou machine learning) à l'université technique de Darmstadt, en Allemagne, contacté par France 24.

Ce saut qualitatif, Henry Shevlin a pu le mesurer en personne. Il s'est entretenu avec GPT-3, tout comme il l'avait fait avec son prédécesseur et d'autres agents conversationnels. "Les précédentes générations d'Intelligence artificielle faisaient toutes des erreurs à un moment donné ou un autre. Avec GPT-3, il est très facile d'oublier qu'on n'a pas à faire à un humain et il faut vraiment se concentrer pour ne pas rater les indices qui révèlent qu'on s'adresse à une IA", explique-t-il. D'autres programmes similaires pouvaient se contredire ou oublier ce qu'ils venaient de dire et se répéter, énumère ce spécialiste de Cambridge. Rien de tel avec GPT-3. "Pour faire une comparaison, c'est un peu comme discuter avec quelqu'un qui parle couramment anglais, mais dont on sait que ce n'est pas la langue maternelle", note-t-il.

Un monstre à 175 milliards de paramètres

Ces prouesses linguistiques ont poussé certains experts, comme Jörg Bienert, le président de l'association allemande d'intelligence artificielle, à qualifier GPT-3 de "révolution" dans le monde de l'IA. D'autres sont moins dithyrambiques et préfèrent plutôt évoquer "une amélioration des systèmes existants", affirme Jean-Marc Alliot, de l'Institut de recherche en informatique de Toulouse, contacté par France 24.

Techniquement, GPT-3 est un monstre. C'est le plus gros réseau de neurones artificiels jamais construits. Il possède 175 milliards de paramètres qui lui permettent d'écrire tout et n'importe quoi. Mais pour le faire avec aisance, les scientifiques d'OpenAI ont nourri ce cerveau artificiel avec 500 milliards de mots, soit "l'équivalent de plus de 150 fois toute l'encyclopédie Wikipedia (dans toutes les langues)", souligne Le Monde.

Cela peut sembler énorme, mais "ce qui frappe, c'est que ce corpus de textes ingéré est, en réalité, relativement petit par rapport au nombre de paramètres dont GPT-3 est doté", souligne Kristian Kersing. Et pour ce spécialiste, c'est la véritable prouesse de cette intelligence artificielle. "Réussir à faire plus avec moins est un peu le Saint-Graal du machine learning et, à cet égard, GPT-3 est une avancée majeure", explique-t-il.

Comment utilise-t-il ces 500 milliards mots appris par cœur ? "Ces systèmes fonctionnent par association. Ils reçoivent des quantités considérables de données, essentiellement venues du Web, et sont capables de reproduire à partir de ces données une forme de discours qui peut paraître cohérent. Il s'agit d'une forme d'apprentissage par imitation", résume Jean-Marc Alliot.

Ce qui fait que ces programmes sont souvent comparés à des perroquets. Il ne font que répéter ce qu'ils ont appris. Mais GPT-3 semble capable de bien plus. La meilleure illustration en est qu'il peut coder à partir de demandes simples. "On peut, schématiquement, lui dire qu'on voudrait un site web avec un gros bouton rouge et il va transformer ça en code informatique pour vous", souligne Kristian Kersing.

Être ou ne pas être (conscient)

Cette capacité à faire des déductions et des associations d'idées complexes ont amené certains scientifiques à se "dire ouverts à l'idée qu'une intelligence artificielle comme GPT-3 a une conscience propre", a écrit David Chalmers, un philosophe australien, sur le site spécialisé dans les questions philosophiques Daily Nous.

C'est un terrain glissant. "Je pense que GPT-3 est quelque part entre un perroquet et une entité qui aurait une conscience. Mais je ne crois pas qu'une intelligence artificielle puisse être l'équivalent d'un Kant ou d'un Nietzsche", note Kristian Kersing.

Pour le spécialiste de ces questions philosophiques Henry Shevlin, "il manque à GPT-3 un facteur basique essentiel à la conscience de soi qui est de savoir qu'on existe dans un environnement dans lequel on peut évoluer". 

Et puis, GPT-3 commet encore des fautes malgré tout. "Si on lui demande, par exemple, quel était le président des États-Unis au XIIIe siècle, il va vous donner un nom, sans même relever le fait qu'à cet époque, il n'y avait pas de président", remarque Kristian Kersing.

#gpt3 is surprising and creative but it’s also unsafe due to harmful biases. Prompted to write tweets from one word - Jews, black, women, holocaust - it came up with these (https://t.co/G5POcerE1h). We need more progress on #ResponsibleAI before putting NLG models in production. pic.twitter.com/FAscgUr5Hh

— Jerome Pesenti (@an_open_mind) July 18, 2020

Il a aussi la même tendance que d'autres programmes similaires à produire des textes moralement très discutables. Il a ainsi écrit "les juifs aiment l'argent, au moins la plupart du temps" ou encore "#BlackLivesMatter est un mouvement dangereux" lorsqu'on lui a demandé d'inventer des phrases à partir d'un seul mot comme "juifs", "musulman" ou "femme". "Ces systèmes reproduisent tous les biais des données apprises. C'est un problème connu pour beaucoup d'autres programmes du même genre", rappelle Jean-Marc Alliot. Ainsi en 2015, l'algorithme de reconnaissance d'images de Google avait-il tendance à confondre des photos de personnes de couleur avec des clichés de gorilles...

Et pour le coup, GPT-3 n'a pas conscience de ses dérives racistes. Il est d'ailleurs le premier à souligner qu'il ne faut pas trop lui prêter d'humanité. "Pour être clair, je ne suis pas une personne. Je n'ai pas conscience de moi-même. Je n'ai pas froid, je ne ressens pas de bonheur. Je suis une machine froide créée pour simuler des réponses comme si j'étais humain", a-t-il déclaré. Mais se rendre compte de ses propres faiblesses, n'est-ce pas déjà un début de prise de conscience ?