ChatGPT a deux ans cette fin de semaine. Peu après sa sortie, à l'automne 2022, nous avons lancé un petit site appelé ChatGPT RPG. Le concept était simple : utiliser un modèle de langage comme meneur de jeu pour le jeu de rôle en solo, afin d'offrir à un joueur une histoire qui répond à ses choix.
Deux ans plus tard, les modèles ont considérablement évolué. ChatGPT dispose maintenant d'une fonction de mémoire. Claude offre les Projets, qui permettent de conserver des fichiers de référence à côté de la conversation. Les fenêtres de contexte sont passées de quelques pages à une longueur qui se rapproche de celle d'un livre. Certaines tâches sont devenues beaucoup plus faciles, alors que quelques problèmes demeurent entiers.
Ce sujet s'éloigne quelque peu de nos thèmes habituels. Il demeure toutefois pertinent, car presque tout ce que nous avons appris en menant des histoires avec une IA s'applique directement aux robots conversationnels d'entreprise.
Quelles sont les forces d'un meneur de jeu IA?
La première force est l'improvisation. Un bon modèle réagit à toute proposition : une décision inhabituelle, un personnage imprévu ou un plan dépourvu de logique. Un meneur de jeu humain pourrait avoir besoin d'un moment de réflexion. Le modèle répond immédiatement.
La deuxième force est la description. Une demande portant sur l'odeur d'un port à l'aube ou les sons d'une jungle la nuit produit un résultat utilisable, et souvent de bonne qualité. En solo, aucun autre participant autour de la table n'apporte d'énergie, ce qui rend cette qualité particulièrement précieuse.
La troisième force est la patience. Le modèle ne se fatigue jamais, ne se lasse jamais du personnage du joueur et n'a jamais besoin de partir à onze heures.
Au cours des premières séances, l'expérience est impressionnante. Les limites apparaissent ensuite.
Pourquoi un meneur de jeu IA a-t-il besoin d'un système de mémoire?
Dès le départ, la mémoire a constitué le problème le plus important. Un modèle ne « se souvient » que de ce qui figure dans la conversation en cours. Il y a deux ans, cette fenêtre était petite. Dans une longue campagne, le début de l'histoire en sortait, et l'aubergiste que le joueur avait soudoyé à la deuxième séance n'en gardait soudain aucune trace. Une épée perdue réapparaissait dans la main du personnage. Ces incohérences nuisaient à l'expérience.
Les fenêtres plus grandes offertes aujourd'hui aident, mais elles ne règlent pas le problème. Même lorsque l'histoire entière y tient techniquement, les modèles deviennent imprécis sur les détails situés au milieu d'une longue conversation. De plus, les fonctions de mémoire intégrées sont conçues pour retenir des préférences, comme le goût pour les réponses courtes. Elles ne sont pas conçues pour suivre quarante personnages et une douzaine d'intrigues en cours.
L'approche efficace consiste à bâtir la mémoire à l'extérieur du modèle :
- Une fiche de campagne, tenue à jour, qui recense les personnages, les lieux, les objets et les intrigues en cours.
- Un court résumé à la fin de chaque séance, rédigé ou du moins vérifié par le joueur.
- La fiche et les derniers résumés insérés au début de chaque séance.
Cette approche fait peu appel à la technologie et fonctionne très bien. Le modèle raconte l'histoire; les notes en assurent la mémoire.
Comment des règles claires assurent-elles l'équité de l'histoire?
Sans encadrement, un modèle de langage tend à vouloir plaire à l'utilisateur. Dans un jeu, cela pose un véritable problème. Chaque plan risqué réussit, chaque serrure s'ouvre et chaque ennemi est un peu plus lent que le joueur. Au bout d'une heure, plus rien n'a d'importance, puisque rien ne peut mal tourner.
La solution consiste à établir des règles que le modèle doit suivre, ainsi qu'une méthode de détermination des résultats qui ne dépend pas des tendances du modèle. Les dés, les cartes et les tables remplissent cette fonction : un système simple dans lequel le résultat provient de l'extérieur du modèle, et où le rôle de l'IA est de le raconter honnêtement, même lorsqu'il est défavorable au joueur.
Les jeux de table en solo ont établi ce principe bien avant l'arrivée des modèles de langage. Les règles déterminent ce qui se produit; le conteur détermine ce que l'on ressent. Lorsque ces deux rôles sont séparés, le jeu redevient équitable. Lorsqu'ils sont confondus, on obtient un système très poli qui assure au joueur que tout ce qu'il fait est remarquable.
Comment rédiger les règles?
Les règles doivent être courtes et précises. Lorsqu'elles sont floues, le modèle comble les lacunes dans la direction qui lui semble la plus agréable. Des règles courtes et précises, accompagnées d'exemples, donnent systématiquement de meilleurs résultats que de longs paragraphes de bonnes intentions. Ce principe vaut pour les consignes de jeu, et tout autant pour les GPT personnalisés que l'on bâtit depuis qu'OpenAI les a rendus accessibles l'an dernier. Nous avons examiné un grand nombre de ces instructions, et la plupart expriment des souhaits plutôt que des règles.
Pourquoi les joueurs recherchent-ils la surprise plutôt que le chaos?
L'échec inverse se produit aussi. Lorsqu'on lui demande de « rendre l'histoire plus intéressante », une IA peut introduire un dragon, une trahison et un tremblement de terre dans une même scène. Le résultat est surprenant, mais il n'est pas satisfaisant.
Une surprise réussie découle d'éléments préparés plus tôt : un personnage discret qui se révèle important, ou une mauvaise décision prise à la troisième séance qui entraîne des conséquences plus tard. Cela exige de nouveau de la mémoire, ainsi que de la retenue.
Le meilleur meneur de jeu IA, comme le meilleur meneur humain, sait quand garder le silence : laisser au joueur le temps de réfléchir et donner à une scène l'espace nécessaire pour se développer. Chaque réponse n'a pas besoin d'un rebondissement.
Quelles leçons pour les robots conversationnels d'entreprise?
Ces enseignements concernent les propriétaires de petites entreprises, car un robot de service à la clientèle présente exactement les trois mêmes problèmes.
- La mémoire. Le robot a besoin d'une information exacte et à jour sur votre entreprise, fournie chaque fois, plutôt que de s'appuyer sur un souvenir partiel. Les prix, les heures d'ouverture et les politiques devraient être conservés à un seul endroit et transmis au robot.
- Les règles. Sans limites claires, le robot cherchera à plaire au client, par exemple en promettant un remboursement que vous n'offrez pas ou en confirmant une date qui n'est pas disponible. Il a besoin de règles écrites et d'un transfert vers une personne lorsqu'il n'est pas certain de la réponse.
- La retenue. Un bon robot répond à la question, puis s'arrête. Il n'improvise pas une politique un dimanche soir.
De nombreuses entreprises se voient actuellement proposer des robots conversationnels. Avant d'en acquérir un, nous recommandons de poser trois questions au fournisseur. Où le robot obtient-il ses informations? Que lui est-il interdit de dire? Que se passe-t-il lorsqu'il ne connaît pas la réponse? Si les réponses sont imprécises, le robot risque de l'être aussi. Un robot conversationnel ou assistant IA bien conçu repose sur une base de connaissances soignée, des règles précises et une personne réelle accessible en un clic.
Que retenir de deux ans avec un conteur IA?
Nous continuons d'utiliser cette approche. Les modèles sont nettement meilleurs conteurs qu'en 2022, une amélioration qui ne fait aucun doute. Nous tenons néanmoins toujours une fiche de campagne et lançons les dés nous-mêmes, et nous prévoyons de poursuivre dans cette voie, car ces solutions relèvent d'une conception rigoureuse.
Le site est accessible ici pour les personnes intéressées : ChatGPT RPG. Il a commencé comme un projet personnel et constitue aujourd'hui la source de l'essentiel de notre expertise pour encadrer le comportement d'une IA.