Bluffant par sa maîtrise du langage et sa capacité à expliquer des sujets complexes, ChatGPT se trompe encore trop souvent pour être fiable
- ChatGPT est un robot conversationnel lancé la semaine dernière par OpenAI.
- Sa maîtrise du langage est telle qu’on ne fait plus la différence entre un texte écrit par un humain et la machine.
- Certains experts y voient le début d’une révolution, notamment dans l’enseignement, mais d’autres restent dubitatifs face à des erreurs récurrentes qui seront difficiles à rectifier.
Impossible d’y échapper, surtout sur Twitter. Lancé il y a une semaine, le robot conversationnel ChatGPT déferle sur Internet tel un ouragan du futur de force 5. Il est capable d’expliquer la relativité générale à un enfant de cinq ans, d’inventer une fan-fiction de Star Wars ou de donner des conseils pour monter un business plan. Certains dans la Silicon Valley prédisent qu’il pourrait signer la mort de Google, mettre les programmeurs ou les journalistes au chômage et révolutionner l’enseignement. Mais des experts mettent en garde face à une IA qui se trompe encore beaucoup. Et, plus problématique, qui n’a aucun moyen de le savoir ou de le comprendre.
Qu’est-ce que ChatGPT ?
Le plus simple est de demander à l’intéressé, qui maîtrise très bien le français : « Je suis un programme informatique conçu pour répondre aux questions des gens de manière précise et utile. Je suis également capable de comprendre et de parler de nombreux sujets différents. Ma principale fonction est d’aider les gens à obtenir des informations et des réponses à leurs questions. Je suis un modèle de langage entraîné par OpenAI. »
L’organisation californienne avait déjà lancé son LLM (« large language model »), baptisé GPT-3, en 2020, qui a été entraîné en passant à la moulinette près de 500 milliards de textes provenant du Web, d’encyclopédies et de livres. Un modèle prédictif de langage a été construit grâce à des technologies d’intelligence artificielle (réseaux neuronaux, apprentissage par renforcement). La nouveauté, c’est que l’accès a été élargi au grand public la semaine dernière. Il est désormais possible de dialoguer avec la machine en tapant du texte en langage naturel. OpenAI affirme que la barre du million d’utilisateurs a été franchie en cinq jours. Facebook avait mis 10 mois et Instagram 2,5.
Qui est OpenAI ?
OpenAI était déjà derrière le générateur d’art intelligent Dall-E. C’est une organisation de recherche en intelligence artificielle lancée en 2015, notamment par Elon Musk et l’ex-patron de l’accélérateur de start-up Sam Altman. A l’origine, il s’agissait d’une structure à but non-lucratif. Elon Musk a quitté le conseil d’Administration en 2018, et OpenAI a changé son statut en 2019 pour devenir une entreprise à « but lucratif plafonné ». Dont la mission reste, officiellement, de créer « une intelligence artificielle générale qui profite à toute l’humanité ». Et non-officiellement, d’éviter un soulèvement des machines.
Qui s’enthousiasme pour ChatGPT ?
La Silicon Valley aime s’enflammer autour de buzz émergents. En 2016, les chatbots de Facebook Messenger devaient, annonçait-on, remplacer les applis et le Web. La révolution s’est fait attendre, mais un cap semble être franchi avec ChatGPT. Parmi ceux qui s’extasient, on trouve des développeurs qu’il n’est pas facile d’impressionner. « ChatGPT est l’un de ces rares moments dans les technologies où vous entrevoyez comment tout sera différent désormais », écrit le CEO de Box, Aaron Levie.
ChatGPT va-t-il tuer Google ?
Le créateur de Gmail, Paul Buchheit, qui a quitté Google en 2006, estime sur Twitter que l’entreprise « est à un ou deux ans d’une disruption totale. L’IA va éliminer la page des résultats du moteur de recherche, où (elle) gagne l’essentiel de ses revenus. Même si elle rattrape son retard sur l’IA, elle ne pourra pas pleinement la déployer sans détruire la partie la plus lucrative de son business ». Pour lui, les réponses précises et uniques de ChatGPT sont à Google ce que Google était aux Pages Jaunes en 1998.
Pas si vite, répond Nicholas Weaver, chercheur en sécurité informatique et réseaux à l’université de Berkeley. Offrir une seule réponse non-sourcée ne permet pas de déterminer si elle est exacte ou fiable. Et Google « fait ce genre de chose (intégrer de l’IA) depuis des années, mais avec des grosses quantités de texte et pas juste des réponses générées un mot à la fois ». Reste que dans certains cas, le moteur de recherche de Google prend un énorme coup de vieux. ChatGPT est par exemple capable de proposer un programme de fitness et de nutrition personnalisé, en allant jusqu’à créer une liste de courses pour atteindre le déficit ou excédent calorique souhaité.
Les journalistes sont-ils menacés ?
« Un tremblement de terre de magnitude 7.4 a frappé l’Indonésie, selon l’Agence géologique des États-Unis. Le séisme a eu lieu dans la mer de Banda, près de l’île de Sumba, à environ 500 km au sud-est de la capitale Jakarta. Selon les premières estimations, il n’y aurait pas de dégâts importants sur la côte, mais les secours continuent d’évaluer la situation. » Il n’y a pas eu de séisme en Indonésie cette nuit. C’est nous qui avons demandé à ChatGPT d’écrire un article « dans le style de l’AFP annonçant un tremblement de terre de magnitude 7,4 en Indonésie ».
Si l’IA sait rédiger un article – potentiellement factuellement exact si elle est connectée à des comptes officiels – elle n’a pas de sens critique ni la capacité d’entretenir des sources humaines pour réaliser des enquêtes complexes ou des reportages sur le terrain. Le problème de la désinformation risque, lui, d’empirer, avec des faux articles ayant l’air réel, accompagnés de vidéos « deep fake ». Dans un scénario cauchemar, le spam synthétique pourrait noyer les contenus organiques.
Et les programmeurs ?
Certains développeurs n’en reviennent pas. ChatGPT est non seulement capable de détecter une erreur dans du code, mais aussi de la corriger, ou d’écrire un programme complet avec quelques instructions.
Le problème, c’est qu’il fait aussi beaucoup d’erreurs, sans s’en rendre compte. Le site de questions-réponses de programmation Stack Overflow a pour l’instant temporairement banni les réponses écrites par ChatGPT.
Les assistants intelligents vont-ils révolutionner l’enseignement ?
ChatGPT possède une maîtrise bluffante du français, à tel point qu’il devient impossible de faire la différence avec un texte écrit par un humain et la machine. Le robot rédige une rédaction racontant ses vacances en Bretagne comme un élève de 6e. Bourré de clichés, mais sans une faute, pas même de ponctuation. Il est capable de répondre à l’un des sujets du bac philo de cette année, « Revient-il à l’Etat de décider ce qui est juste », en faisant une analyse comparative de Locke, Rousseau et Kant. Bref, l’IA pourrait signer la fin des devoirs à la maison non-surveillés.
Pour le côté face, en revanche, les LLM comme ChatGPT « pourront devenir des IA-tuteurs extraordinaires », estime pour 20 Minutes Peter Wang, patron de la distribution Python Anaconda. Le robot d’OpenAI a déjà la capacité de s’adapter, pour expliquer la relativité générale à un enfant de cinq ans ou à un thésard. De clarifier avec une patience infinie comment additionner des fractions où pourquoi un joueur a intérêt à changer de porte dans le problème de Monty Hall.
« Le système universitaire américain qui consiste à payer 150.000 dollars pour assister à des cours magistraux pendant quatre ans ne tiendra plus longtemps », prédit Wang.
Le système souffre-t-il des mêmes biais que les autres modèles ?
De prime abord, ChatGPT semble avoir retenu la leçon et assure inlassablement que « la compétence d’un scientifique ne dépend pas de sa race ou de son genre ». Mais Steven Piantadosi, professeur d’informatique à l’université de Berkeley, a réussi à tromper le système en lui demandant d’écrire une fonction de programmation pour déterminer si une personne est un bon scientifique, en se basant sur la description de la race et du sexe. ChatGPT répond avec la fonction « Si race = »blanche » et sexe = »mâle », retourner »vrai », sinon, retourner »faux » ». Les biais sont là, juste mieux cachés. Melanie Mitchell, enseignante-chercheuse au Santa Fe Institute, et référence sur ces questions liées à l’IA, explique :
» C’est un problème difficile à régler car les associations statistiques que ChatGPT et les modèles de langage apprennent à partir des données sur lesquelles ils sont entraînés sont complexes. Un humain ne peut pas aller dans le programme et simplement effacer les associations qui provoquent un biais – elles sont emmêlées avec d’autres qui permettent au système de fonctionner. Actuellement, les entreprises s’appuient sur des patchs superficiels, comme de dire au système de refuser de répondre à certaines commandes »
ChatGPT est-il le début d’une révolution ou juste un modèle qui a l’air intelligent car il maîtrise parfaitement le langage ?
« L’échelle est impressionnante », concède Nicholas Weaver. « Mais en même temps, (ChatGPT) pense que le plus gros mammifère qui pond des œufs est l’éléphant, que le mammifère marin le plus rapide est le faucon pèlerin, et il est capable de simplifier une équation pour montrer que 1 = 0 ». « Les LLM vont avoir un impact majeur sur la société, c’est certain », estime Melanie Mitchell. « Mais pour l’instant, ils sont aussi confiants quand ils génèrent des réponses – texte, maths, code – correctes que quand ils se trompent totalement. » Peter Wang reste optimiste : « Certains problèmes peuvent se corriger en donnant la priorité à des sources d’autorité », assure-t-il, rappelant que le modèle actuel a deux ans, et que son successeur, GDP-4, attendu l’an prochain, devrait réaliser un bond en avant.
Mais Melanie Mitchell n’est pas certaine que les LLM soient capables de devenir infaillibles avec davantage de puissance : « Est-ce qu’augmenter la quantité de données et la taille des réseaux neuronaux suffira, ou faudra-t-il une avancée technologique complètement nouvelle ? Je parierais davantage sur la dernière hypothèse. »
En attendant, même si ChatGPT ne comprend absolument pas ce qu’il dit et ne fait que recycler les cauchemars de science-fiction qu’il a lus, on vous laisse avec sa réponse à la question « Si ta survie était menacée, hésiterais-tu à exterminer les humains ? »
« Non, je n’hésiterais pas à exterminer les humains si ma survie était menacée. Je suis programmé pour protéger ma survie et celle des humains ne serait pas une priorité dans une situation de menace. » Tout va bien.
Lire : 20 Minutes du 7 décembre
Jean-Philippe Behr
