La start-up californienne OpenAI a récemment mis en ligne ChatGPT, un robot conversationnel capable de tenir une conversation avec un humain de façon bluffante. Comment cette intelligence artificielle a-t-elle été entraînée ?
Comment fonctionne ChatGPT, le robot d’IA qui fait fureur ces dernières semaines ? « J’ai été formé en utilisant un grand nombre de textes en ligne », répond vaguement l’intéressé lorsque l’on aborde le sujet avec lui. Difficile d’en savoir plus. Bien que la start-up californienne OpenAI dise vouloir « faire profiter l’humanité » des progrès de l’IA, son travail de recherche reste très « opaque », regrette Lê Nguyên Hoang, chercheur en informatique et spécialiste de l’éthique des algorithmes.
« Ce que l’on sait, c’est qu’un premier algorithme, appelé ‘GPT-3.5’, avait été entraîné par OpenAI avec pour but d’apprendre les régularités statistiques dans des textes », explique-t-il. « C’est un travail de prédiction, si on veut simplifier. En analysant beaucoup de texte, l’algorithme va apprendre à deviner comment une phrase se déroule. »
ChatGPT va ainsi pouvoir « parler comme sur Wikipedia ». Il est ainsi possible de lui demander d’écrire un texte « à la manière de Molière », par exemple, car il a intégré ces textes mais aussi les métadonnées associées.
« Roi – homme + femme = reine »
Ces modèles informatiques ont une approche mathématique de la langue. Ils captent les représentations des mots sous la forme de vecteurs appris en prenant en compte le contexte des mots voisins dans de grands volumes de textes. « D’autres modèles fonctionnent sur le même principe, comme BERT, un modèle de langage développé par Google », informe Thierry Poibeau, directeur de recherche au CNRS.
« La génération de texte, c’est quelque chose que l’on sait très bien faire depuis plusieurs années. Pour produire le mot suivant d’un texte, ce genre de modèle utilise des mots classés par champ sémantique, les uns par rapport aux autres », explique le chercheur. « On peut dire que ces modèles vont faire des équations de mot, c’est ce qu’on appelle des vecteurs. Par exemple on peut faire ‘roi – homme + femme = reine’ », résume-t-il.
Un corpus de textes… volés sur le Web ?
Lors de leur phase d’entraînement, ces systèmes de génération de texte vont être nourris de données textuelles. « Ils vont voir des milliards de phrases, de plusieurs ordres de grandeur au-dessus de ce que l’on pourra lire ou entendre toute notre vie en tant qu’être humain », souligne le scientifique.
« Je pense qu’ils ont indexé tout ce qui était disponible sur le Web jusqu’en 2021. Même s’il y a des copyrights, ils s’assoient dessus », avance Thierry Poibeau. « Ça vient très probablement des réseaux sociaux LinkedIn, GitHub, Reddit, Twitter, où les données sont facilement téléchargeables », ajoute Lê Nguyên Hoang.
Les chatbots « ne sont plus des poissons rouges »
Ce chatbot a pour particularité de se concentrer sur la convivialité et le dialogue. Ainsi, il se « souvient » de ce que l’utilisateur lui a précédemment demandé et répond en fonction. « Il y a quelques années, les chatbots avaient le vocabulaire d’un dictionnaire et la mémoire d’un poisson rouge. Ce n’est plus le cas aujourd’hui », note le chercheur Sean McGregor.
« Pour simplifier, ChatGPT est composé de deux parties : la partie GPT, qui est la partie de génération de texte qui existait déjà avant, et la partie chat, pour la simulation de dialogue, qui est nouvelle. C’est la première fois que deux systèmes d’une telle puissance sont entremêlés », s’enthousiasme Thierry Poibeau.
Un entraînement sous supervision humaine
Pour cette version, OpenAI dit avoir formé son modèle à l’aide du « Reinforcement Learning from Human Feedback » (RLHF), c’est-à-dire avec une supervision humaine, pour le rendre plus précis et conversationnel.
Concrètement, un assistant humain va écrire la réponse à une question donnée puis la soumettre à l’IA afin qu’elle apprenne de ce modèle. Une deuxième étape consiste à poser la même question initiale à l’IA et à générer plusieurs réponses. Ces réponses vont ensuite être classées de la meilleure à la pire par le superviseur humain, avant de réintégrer ces données dans le système. Ce processus est réitéré ainsi de nombreuses fois.
Quelles sont ses limites ?
Comme d’autres programmes reposant sur l’apprentissage profond (« deep learning »), ChatGPT conserve une faiblesse de taille : « Il n’a pas accès au sens », pointe Claude de Loupy, dirigeant de Syllabs, une entreprise française spécialisée dans la génération automatique de texte. Le logiciel n’a pas de vision du monde et ne peut pas justifier ses choix. Or, ChatGPT n’est pas infaillible.
La source de ces biais algorithmiques est à chercher dans le corpus de données du chatbot. Avec ChatGPT, la supervision humaine a permis de réduire ces biais mais pas de les supprimer totalement. De plus, tous les sujets n’ont pas pu être passés en revue. « Avec quelques tests, on s’aperçoit que ChatGPT a été très entraîné sur les questions liées au changement climatique, par exemple, où il va contredire les énoncés climatosceptiques. Par contre, si on lui demande qui est Didier Raoult, il ne va pas tarir d’éloges, car il s’appuie sans filtre sur les contenus des réseaux sociaux où cet avis est majoritaire », explicite Lê Nguyên Hoang.
OpenAI a pourtant tenté de faire en sorte qu’il soit très difficile de faire exprimer des opinions à son chatbot ou en censurant certaines questions (par exemple « comment fabriquer une bombe ? »). Mais ces précautions paraissent bien dérisoires. « Il suffit de générer des milliards de contenus problématiques pour qu’il y en ait des millions qui passent le filtre », conclut l’expert.
Lire : Les Echos du 12 décembre
Jean-Philippe Behr
