Cet automne, nous avons lancé un petit projet appelé ChatGPT RPG. Le nom est venu plus tard; le projet est né d'une question persistante.
Un modèle de langage peut-il mener une partie pour un seul joueur?
Il y a deux semaines, OpenAI a mis ChatGPT en ligne, et une grande partie des internautes tentent maintenant de lui faire raconter des histoires. Le moment est donc approprié pour consigner nos observations, avant que le débat public ne s'intensifie davantage.
Pourquoi tester un modèle de langage comme meneur de jeu?
Parce qu'il pourrait combler une lacune du jeu en solo. Le jeu de rôle en solo existe déjà et gagne en popularité. On y joue seul, à l'aide de tables d'oracle, de dés et de sa propre imagination. L'approche fonctionne, mais le joueur est à la fois participant et arbitre, ce qui rend la véritable surprise difficile.
Un modèle de langage semble constituer l'élément manquant : un outil capable de décrire une scène, d'incarner les personnages rencontrés et de réagir à toute action, en langage courant. AI Dungeon, qui reposait sur GPT-2, a démontré dès 2019 qu'il existe une demande pour ce type d'expérience. Notre objectif était de déterminer jusqu'où les modèles plus récents peuvent aller lorsqu'on les traite moins comme une curiosité et davantage comme un meneur de jeu doté d'un rôle défini.
Notre intérêt diffère quelque peu de la vocation d'AI Dungeon, qui est ouvert par principe : toute saisie peut produire n'importe quel résultat. C'est divertissant le temps d'une soirée, mais un véritable jeu exige des limites. Les actions doivent avoir un coût. Les personnages morts doivent le rester. Le monde doit opposer une résistance. La question est de savoir si un modèle peut respecter un ensemble de règles, ou s'il finit toujours par accepter tout ce que le joueur saisit.
Que montrent les premières expériences?
Nous avons commencé avec GPT-3 dans le « playground » d'OpenAI et utilisons ChatGPT depuis son lancement. Trois constats reviennent systématiquement, quel que soit le modèle utilisé.
Il improvise bien, puis il oublie
La qualité de l'improvisation est frappante. À partir d'une situation, le modèle crée une atmosphère, un personnage à la voix distincte et un rebondissement inattendu. Il peut incarner un aubergiste bougon et un opérateur radio nerveux au cours d'une même partie tout en les maintenant distincts. Pour un joueur en solo, cette capacité à elle seule a une grande valeur.
Ensuite, il oublie. Ces modèles ne peuvent retenir qu'une quantité limitée de texte à la fois, soit environ 4 000 jetons pour les modèles GPT-3 actuels, l'équivalent de quelques pages tout au plus. Tout ce qui est plus ancien sort de cette fenêtre. Un personnage mort une heure plus tôt réapparaît dans la scène. L'épée perdue se retrouve dans la main du joueur. Le village change de nom.
La description la plus juste est celle d'un meneur de jeu brillant, mais oublieux : le partenaire le plus créatif avec qui l'on puisse jouer, mais incapable de se souvenir de la semaine précédente.
Les règles doivent être rédigées pour l'IA
Ce point a demandé plus de temps à comprendre. Un meneur de jeu humain retient les règles. Un modèle de langage ne conserve rien d'une requête à l'autre, sauf ce qu'on lui fournit.
Tout ce dont il a besoin doit donc être consigné par écrit et lui être fourni de nouveau : les règles du jeu, l'état actuel du personnage, un résumé des événements passés réduit à l'essentiel, le ton, ainsi que ce qu'il ne doit jamais faire, comme décider des actions du personnage du joueur, ce qu'il tente fréquemment.
Cette tâche représente désormais l'essentiel du travail. Il s'agit moins de rédiger une requête astucieuse que de rédiger un livre de règles clair que le modèle peut suivre de façon constante. Ce travail s'apparente davantage à la conception de jeux qu'à la programmation, ce qui correspond bien à notre expertise.
Le joueur doit continuer de diriger l'histoire
Laissé à lui-même, le modèle glisse vers le prévisible : le rebondissement attendu, la fin heureuse, les longs discours dramatiques. Il tend aussi à acquiescer à tout et cède à la moindre insistance.
Les parties réussies sont celles où le joueur se fixe des objectifs, fait des choix difficiles et résiste lorsque l'histoire perd de sa tension. L'IA est une excellente partenaire, mais elle n'en est pas l'auteure.
Que révèle ce projet sur l'IA en général?
Un projet de jeu s'est révélé étonnamment instructif sur les outils eux-mêmes.
Un modèle ne connaît que ce qu'on lui a fourni. Pour qu'il demeure cohérent, la cohérence doit être définie par écrit. La mémoire s'améliorera probablement : les fenêtres de contexte s'agrandiront, et des méthodes permettant de conserver des notes d'une partie à l'autre seront mises au point. Selon notre analyse, le principe de fond demeurera le même.
Il en va de même pour les règles. Que le modèle serve de meneur de jeu ou réponde aux questions pour une entreprise, la qualité de ses résultats dépend principalement de la clarté avec laquelle on a défini ce qu'il doit faire et ne pas faire. La plupart des captures d'écran qui circulent cette semaine proviennent d'utilisateurs qui ont omis cette étape et qui sont surpris des résultats.
Une personne doit aussi garder la maîtrise. Le modèle peut aider, suggérer, rédiger et participer, mais ce n'est pas à lui de déterminer l'orientation.
Quel lien existe-t-il entre un meneur de jeu et un assistant d'entreprise?
Le défi est identique, même s'il peut sembler éloigné de la gestion d'une entreprise locale. Prenons un robot conversationnel sur le site d'un camping. Il doit se souvenir des règles de l'établissement, des prix et des dates, et ne pas inventer une piscine qui n'existe pas. Son livre de règles doit être rédigé, exactement comme pour le meneur de jeu.
Selon nous, c'est là que se situera l'essentiel du véritable travail dans les robots conversationnels et assistants IA. Le modèle devient la composante la plus simple. Documenter ce qu'il doit savoir, avec clarté et exactitude, constitue le cœur du travail.
Entre-temps, les essais du meneur de jeu oublieux se poursuivent. Il ramène régulièrement en jeu des personnages décédés, ce qui rend chaque partie imprévisible.