La sortie de ChatGPT le 30 novembre dernier a marqué une nouvelle étape dans le développement des technologies de traitement des langues. C’est en tout cas la première fois qu’un système d’IA, directement issu de la recherche, suscite un tel engouement : de nombreux articles sont parus dans la presse spécialisée mais aussi générale. ChatGPT (ou OpenAI, la société qui développe ChatGPT, ou les deux) sont régulièrement en top tendance sur Twitter aujourd’hui encore.
Pourquoi un tel écho ? Les capacités de ChatGPT marquent-elles un tournant par rapport aux précédentes technologies capables de générer des textes ?
ChatGPT peut dialoguer
Clairement, ChatGPT a permis un saut qualitatif : il est capable de répondre, de manière souvent pertinente, à presque n’importe quelle requête en langage naturel. GPT2, puis GPT3 – les précédents modèles de langage mis au point par OpenAI – étaient déjà très forts pour générer du texte à partir de quelques mots ou phrases donnés en amorce (ce que l’on appelle le « prompt ») : on parlait souvent de « perroquets » (stochastic parrots), comme l’a proposé Emily Bender, et de nombreux autres chercheurs critiques de ces techniques. En effet, on pouvait dire que ces systèmes produisaient du texte à partir de bouts de phrases tirées des immenses corpus à leur disposition… même s’il faut nuancer cette image du perroquet : les systèmes ne répètent pas des extraits mot à mot, mais produisent en général un texte original en reprenant, paraphrasant, combinant des éléments vus dans des corpus variés.
ChatGPT reprend ces caractéristiques, mais la partie « chat » (dialogue) y ajoute une dimension tout à fait différente, et en apparence souvent bluffante.
Le système ne produit plus juste un paragraphe à partir d’une phrase donnée en entrée. Il est maintenant capable de répondre correctement à des questions simples comme à des questions complexes, il peut fournir des éléments de raisonnement, s’exprimer dans différentes langues, analyser ou produire du code informatique, entre autres.
Par exemple, si on lui demande si deux personnages ont pu se rencontrer, le système est capable de déterminer les dates correspondant à leur existence, comparer ces dates et en déduire une réponse. Ceci est trivial pour un humain, mais aucun système ne pouvait jusque-là répondre de manière aussi précise à ce type de question sans être hautement spécialisé. Au-delà du langage, ChatGPT peut aussi fournir des éléments de raisonnements mathématiques (mais il se trompe souvent) et analyser du code informatique notamment.
De ce point de vue, ChatGPT a une longueur d’avance sur ses concurrents.
Read more:
Beau parleur comme une IA
ChatGPT, un système fermé
Concernant le fonctionnement du système, difficile d’en dire plus, car OpenAI, malgré son nom, développe des systèmes fermés. C’est-à-dire que le code informatique (code source) utilisé n’est pas disponible et que les recherches liées à ChatGPT restent pour l’instant en grande partie un secret industriel – même si, évidemment, d’autres équipes travaillent sur des systèmes similaires, aussi à base d’apprentissage profond. On a donc une idée de ce qui est utilisé par OpenAI.
D’autres entreprises ont gardé un modèle plus ouvert, par exemple Meta avec les travaux menés à FAIR, en général ouverts et publiés dans les principales conférences du domaine. Mais, plus généralement, on constate de plus en plus une fermeture des recherches. Par exemple, alors qu’Apple a toujours eu un modèle de développement privé et très secret, Deepmind avait un modèle ouvert et l’est sans doute un peu moins, maintenant que l’entreprise est sous le contrôle de Google.
Le système ChatGPT lui-même pourrait devenir commercial : OpenAI est financé par Microsoft qui pourrait décider de fermer l’accès au système un jour prochain, si c’est son intérêt.
En testant ChatGPT, vous contribuez (gratuitement) à l’améliorer
En attendant, OpenAI bénéficie de l’énorme publicité que lui apporte son outil, et aussi de toutes les interactions des utilisateurs avec lui. Si un utilisateur signale qu’une réponse n’est pas bonne, ou demande à l’outil de reformuler sa réponse en tenant compte d’un élément en plus, c’est autant d’information que le…
La suite est à lire sur: theconversation.com
Auteur: Thierry Poibeau, DR CNRS, École normale supérieure (ENS) – PSL
