Un article intitulé « Attention Is All You Need » a été publié sur arXiv le 12 juin. Ses huit auteurs sont des chercheurs, pour la plupart chez Google. L'article est court : beaucoup de mathématiques, quelques schémas de boîtes et de flèches, et un sujet précis, la traduction automatique de l'anglais vers l'allemand et de l'anglais vers le français.
Nous avons lu le résumé et examiné le reste de l'article. Le détail mathématique relève des spécialistes, mais les implications sont importantes, et très peu de gens en marketing semblent connaître cet article. Cet été, les discussions en marketing portent sur la vidéo Facebook, les Stories d'Instagram et les robots conversationnels de Messenger, et non sur un article consacré à la traduction.
Cet écart mérite qu'on s'y arrête, et cet article explique pourquoi en termes simples.
Que propose réellement l'article sur le Transformer?
Une architecture qui lit toute la phrase d'un coup plutôt que mot par mot. Ce qui suit est un résumé à l'intention des non-spécialistes.
Jusqu'ici, les meilleurs systèmes de traitement du langage lisaient le texte plus ou moins un mot à la fois, dans l'ordre, en transportant une forme de mémoire d'un mot au suivant. L'approche fonctionne, mais l'entraînement est lent, puisqu'il est difficile d'effectuer la dixième étape avant la neuvième. La mémoire s'affaiblit aussi dans les longues phrases : à la fin d'un long paragraphe, le début est en partie perdu.
L'article propose une architecture appelée Transformer, qui abandonne la lecture mot par mot. Chaque mot d'une phrase examine plutôt tous les autres mots simultanément et détermine lesquels comptent pour son sens. C'est le mécanisme d'« attention ». Dans « la plongeuse a vérifié son manomètre avant qu'elle descende », le modèle peut relier « elle » à « plongeuse » directement, sans transporter ce lien à travers chaque mot intermédiaire.
Selon l'article, deux résultats en découlent. Les traductions obtiennent de meilleurs résultats aux tests des auteurs que les meilleurs systèmes précédents. Et comme le modèle traite tout simultanément, il peut être entraîné en parallèle sur une grande quantité de matériel, beaucoup plus rapidement. La version la plus grande a été entraînée en quelques jours sur huit cartes graphiques, ce qui est rapide pour ce type de travail.
Une meilleure qualité et un coût moindre en même temps : selon notre expérience, cette combinaison tend à se répandre.
Pourquoi un article sur la traduction concerne-t-il une petite entreprise?
Parce que la traduction fait déjà partie des activités quotidiennes de nombreuses petites entreprises. Les clients de notre centre de plongée à Nusa Ceningan écrivent en anglais, en allemand, en français, en néerlandais, en chinois et en indonésien, et bien des petites entreprises touristiques composent avec le même mélange. Dans ce contexte, la traduction n'est pas un problème de recherche abstrait; c'est la boîte de réception.
Google a fait passer son outil Traduction à un système neuronal l'automne dernier, et les utilisateurs réguliers l'ont immédiatement remarqué. Le résultat est passé de souvent cocasse à largement utilisable, presque du jour au lendemain. Des erreurs subsistent, mais l'outil est désormais assez fiable pour saisir l'essentiel d'un courriel en allemand avant d'y répondre, ce qui n'était pas le cas il y a deux ans.
Cet article semble constituer la prochaine étape dans la même direction. S'il se traduit dans les produits de Google, ce qui est probable tôt ou tard, la traduction dans les navigateurs et sur les téléphones s'améliorera encore.
L'approche pourrait-elle dépasser la traduction?
C'est possible. Les chercheurs ne revendiquent des résultats qu'en traduction. En conclusion, ils indiquent leur intention de tester l'approche sur d'autres types de données, comme les images et l'audio, sans autre promesse.
La traduction consiste toutefois à prendre un texte, à le comprendre et à rédiger un nouveau texte de même sens. Un système qui excelle dans cette tâche développe une compétence générale en langage : résumer, répondre à des questions et peut-être rédiger. Il s'agit d'une projection plutôt que d'une certitude, mais la tendance indique que l'idée se répandra bien au-delà des bancs d'essai de traduction.
Pourquoi le milieu du marketing néglige-t-il cet article?
Pour trois raisons. D'abord, il s'agit d'un article de recherche. Les professionnels du marketing suivent les lancements de produits, et non arXiv, ce qui est compréhensible; jusqu'à récemment, nous ne suivions pas arXiv non plus.
Ensuite, l'actualité de l'IA en marketing cette année, ce sont les robots conversationnels. Facebook a ouvert Messenger aux robots l'an dernier, et de nombreuses agences vendent maintenant des robots à arbre de décision qui obligent l'utilisateur à choisir parmi quatre boutons. La plupart sont peu performants, et quiconque en a utilisé un connaît l'expérience de chercher le moyen de joindre une personne. Ces robots amènent bien des propriétaires de petites entreprises à percevoir « l'IA » comme un gadget, ce qui risque de les conduire à écarter les véritables progrès lorsqu'ils arriveront.
Enfin, il est difficile de regarder un score de traduction et d'imaginer un outil utilisé au bureau. L'article ne demande pas au lecteur de le faire; le lien exige une interprétation.
Où commencent les changements technologiques majeurs?
Dans les articles de recherche, et non dans les lancements de produits. C'est le principal point que nous souhaitons voir retenu par les propriétaires de petites entreprises.
Lorsqu'une technologie fait l'objet d'un lancement de produit avec un logo soigné, le changement a déjà eu lieu. Il s'est produit dans un laboratoire, souvent des années plus tôt, dans un document que la plupart des gens ne liront jamais. À la conférence I/O en mai, le PDG de Google a déclaré que l'entreprise passe du « mobile d'abord » à « l'IA d'abord ». Des articles comme celui-ci montrent ce que cette déclaration signifie concrètement.
La plupart des recherches ne mènent nulle part, alors que certaines entraînent des changements importants. Distinguer les unes des autres est une compétence, et personne n'a raison à tout coup. La portée finale de cet article reste à voir; c'est toutefois un travail que nous continuerons de suivre de près.
L'article vaut-il la peine d'être lu?
Au moins la première page. L'article est accessible gratuitement sur arXiv. Le résumé tient en un seul paragraphe lisible; le reste devient rapidement technique. Un survol demeure utile, ne serait-ce que pour voir à quoi peut ressembler le début d'un développement important : des tableaux, des équations et un schéma de boîtes empilées, sans rien qui annonce sa portée.
Pour une petite entreprise, l'habitude la plus utile est plus simple que la lecture d'articles de recherche : déterminer quelle partie de la semaine relève du travail de langage, comme répondre aux courriels, traduire, rédiger des descriptions et répondre aux avis. C'est là que les outils sont le plus susceptibles de s'améliorer en premier. Lorsque ce sera le cas, les entreprises devront savoir quoi adopter et quoi écarter, ce qui constitue l'objet du volet pratique du conseil en IA.
Aucun robot à quatre boutons n'est nécessaire.