Le 28 mai, un article au titre sobre a été publié sur arXiv : « Language Models are Few-Shot Learners ». Ses trente et un auteurs, d'OpenAI, y décrivent GPT-3, un modèle de langage de 175 milliards de paramètres. Le 11 juin, OpenAI a ouvert une API pour y accéder, sous forme de bêta privée, avec liste d'attente et admission sur sélection.
Nous suivons ce domaine depuis GPT-2 l'an dernier, lorsque nous avons publié un billet sur les machines qui écrivent, et nous avons demandé l'accès. Entre-temps, nous avons étudié l'article en détail et suivi ce que publient les premiers testeurs.
Qu'est-ce que l'API de GPT-3?
Le terme « IA » évoque souvent un robot conversationnel, mais il s'agit ici d'autre chose. OpenAI décrit l'API comme « du texte qui entre, du texte qui sort ». L'utilisateur fournit le début d'un texte et le modèle le poursuit. C'est toute l'interface.
Pour obtenir la réponse à une question, l'utilisateur ne la pose donc pas directement. Il rédige plutôt le début d'un document dans lequel cette réponse apparaîtrait naturellement : une page de questions-réponses comportant la question et une réponse vide, le début d'une entrevue ou la première ligne d'un courriel. Le modèle rédige ensuite la suite, dans le ton établi.
Ainsi décrit, le processus peut sembler maladroit. D'après les exemples partagés, il ne l'est pas. Le texte se lit comme celui d'une personne qui maîtrise le sujet, paragraphe après paragraphe. Après des années de robots conversationnels qui échouaient dès la deuxième question, il s'agit d'une avancée importante.
Dans quelle mesure le texte est-il convaincant?
Le chiffre le plus marquant de l'article provient d'un test portant sur de courts articles de nouvelles. Les chercheurs ont fait rédiger des articles par GPT-3 à partir d'un titre et d'un sous-titre, les ont mélangés à de vrais articles, puis ont demandé à des participants de repérer ceux écrits par la machine. Avec le plus grand modèle, les participants ont répondu correctement environ 52 % du temps, alors que le hasard donne 50.
Autrement dit, la plupart des lecteurs ne peuvent pas distinguer les deux de façon fiable, même dans un test contrôlé où ils savent qu'ils doivent chercher des différences.
Pour les rédacteurs professionnels, et pour ceux qui font appel à eux, c'est une constatation importante. Pour les propriétaires de petites entreprises qui n'aiment pas rédiger, elle peut sembler une bonne nouvelle. Selon notre analyse, elle est les deux à la fois.
Pourquoi un texte fluide n'est-il pas nécessairement exact?
Les préoccupations sont apparues en même temps que les premières impressions, et elles découlent de la même capacité.
GPT-3 ne connaît pas les choses à la manière d'une personne. Il a appris, à partir d'un volume énorme de textes, à quoi ressemble habituellement un texte. Lorsqu'on l'interroge sur un sujet réel, il produit quelque chose qui ressemble à une bonne réponse. Parfois, elle est exacte. Dans d'autres cas, nous prévoyons qu'il produira une invention fluide : une statistique qui n'existe pas, une citation que personne n'a prononcée ou un livre que l'auteur n'a jamais écrit.
Les erreurs en elles-mêmes ne posent pas problème, puisque les gens se trompent régulièrement. Le problème est que les réponses erronées auront exactement l'apparence des bonnes : le même ton, la même assurance, la même grammaire soignée, sans hésitation ni nuance. Le texte seul ne permettra pas de savoir quelles parties sont exactes.
Les auteurs le reconnaissent ouvertement. La section sur les limites de l'article indique que les textes peuvent se répéter, perdre leur cohérence sur de longs passages et se contredire. Une section complète porte sur les usages malveillants, notamment la désinformation et le pourriel. Lorsque les concepteurs d'un outil consacrent plusieurs pages à ces préoccupations, celles-ci méritent une attention sérieuse.
Fluide ne veut pas dire vrai. C'est la leçon principale.
Pourquoi la requête détermine-t-elle le résultat?
Le titre de l'article indique l'autre grande leçon : l'apprentissage à partir de quelques exemples (few-shot). Lorsque GPT-3 reçoit deux ou trois exemples du résultat souhaité avant la demande, le résultat s'améliore considérablement. Avec trois bonnes descriptions de produits et la demande d'une quatrième, il produit un texte proche des exemples. Avec une seule ligne vague, il produit un texte moyen.
Cela concorde avec les pratiques établies pour la rédaction d'un mandat destiné à un rédacteur ou à un designer : le mandat détermine le résultat. Le public, le ton, la longueur et un exemple de travail réussi comptent tous. Une machine qui apprend par l'exemple accentue encore ce principe, puisqu'elle ne dispose d'aucune autre indication.
Nous prévoyons que c'est sur ce plan que les petites entreprises tireront de la valeur de ces outils ou éprouveront des difficultés. L'outil favorisera ceux qui lui fournissent leurs propres faits, leur connaissance de leurs clients et leur propre ton. Il pénalisera ceux qui tapent « écris-moi un article de blogue sur la plomberie » et publient le résultat tel quel. Les propriétaires d'entreprise auront besoin d'accompagnement pour utiliser ces outils correctement. Une formation en IA pratique destinée aux personnes qui ne sont pas développeurs n'existe pas encore sous une forme utile, et nous prévoyons que le besoin se fera sentir plus tôt que prévu.
À quelles fins utiliser GPT-3, et à quelles fins l'éviter?
Si l'accès nous est accordé, voici l'approche que nous comptons adopter.
Les premières versions constituent un usage approprié : surmonter la page blanche, produire cinq débuts différents pour un article afin de choisir celui qui se rapproche le plus du propos visé, reformuler un paragraphe qui se lit mal ou trouver des idées de noms. C'est dans ces domaines que nous prévoyons les meilleurs résultats.
Les faits ne le sont pas : les chiffres, les dates et tout ce qui touche le domaine juridique, la santé ou toute situation où une erreur pourrait causer un préjudice. Ces contenus devraient être rédigés par une personne, ou chaque ligne devrait être vérifiée.
Pour l'instant, GPT-3 est un outil de développeurs accessible sur liste d'attente, et la plupart des propriétaires d'entreprise ne l'utiliseront pas cette année. Nous prévoyons toutefois qu'il sera intégré aux outils de tous les jours plus tôt que la plupart des organisations ne l'anticipent. À ce moment, une pratique sera essentielle : examiner tout ce qu'il produit comme si le texte avait été rédigé par un nouvel employé très sûr de lui. Le travail est probablement bon, mais possiblement erroné, et c'est l'entreprise, et non l'outil, qui en porte la responsabilité.