Le 11 octobre, une équipe de Google a publié sur arXiv un article présentant BERT, pour Bidirectional Encoder Representations from Transformers.
Jusqu'ici, peu de gens en dehors du domaine de l'apprentissage automatique l'ont remarqué. Notre propre activité se situe dans le tourisme de plongée plutôt qu'en apprentissage automatique. Ce développement est néanmoins important pour quiconque rédige pour le Web, ce qui inclut la plupart des propriétaires d'entreprise.
Que fait concrètement BERT?
La plupart des modèles de langage lisent le texte dans un seul sens : de gauche à droite, en prédisant le mot suivant. Cette approche fonctionne, mais elle signifie que le modèle ne connaît que ce qui précède un mot lorsqu'il cherche à en déterminer le sens.
BERT lit dans les deux sens. Pendant l'entraînement, les chercheurs masquent des mots au hasard dans des phrases et demandent au modèle de les prédire à partir de tout le contexte environnant, avant et après. Entraîné de cette façon sur Wikipédia en anglais et sur une vaste collection de livres, le modèle devient très efficace pour interpréter le contexte.
Prenons le mot « avocat ». Dans « j'ai mangé un avocat bien mûr avec du sel », ce sont les mots « bien mûr », placés après, qui indiquent de quel avocat il s'agit. Un modèle qui lit uniquement de gauche à droite ne les a pas encore vus à ce moment. BERT, si.
Ce sont les résultats présentés dans l'article qui ont attiré l'attention. Les chercheurs indiquent avoir établi de nouveaux records sur onze tâches linguistiques différentes, dont la réponse aux questions, où le modèle lit un passage et doit y repérer la réponse. Les chercheurs du domaine ont réagi avec un enthousiasme marqué, et inhabituellement public.
Pour consulter la source, l'article sur BERT de Devlin et ses collègues est accessible sur arXiv (en anglais). Il est technique, mais le résumé et l'introduction sont accessibles aux non-spécialistes.
D'où vient BERT?
BERT repose sur le Transformer, présenté dans un autre article de Google publié l'an dernier sous le titre « Attention Is All You Need ». Il ne s'agit pas d'un résultat isolé. Plus tôt cette année, l'Allen Institute a publié ELMo, qui attribue lui aussi aux mots un sens différent selon le contexte. En juin, OpenAI a présenté un modèle qu'elle appelle GPT, également fondé sur les Transformers, qui lit de gauche à droite et est entraîné à prédire le mot suivant.
Il s'agit de trois résultats majeurs en une seule année, qui convergent tous vers la même idée : un grand modèle entraîné sur d'énormes quantités de texte ordinaire apprend suffisamment de choses sur la langue pour être utile dans de nombreuses tâches pour lesquelles il n'a pas été conçu précisément. C'est nouveau. Jusqu'à récemment, il fallait concevoir un système distinct pour chaque tâche.
L'orientation à long terme demeure incertaine, mais nous estimons que les répercussions seront importantes. Ce printemps, Google a présenté Duplex, qui prenait un rendez-vous chez la coiffeuse par téléphone avec une voix semblable à celle d'une personne, et Gmail suggère maintenant des segments de phrases pendant la saisie. Ces applications sont encore récentes et imparfaites, mais la recherche sur laquelle elles reposent progresse rapidement.
Que pourrait signifier cette avancée pour la recherche Google?
Google utilise déjà l'apprentissage automatique dans la recherche. RankBrain en fait partie depuis 2015 et aide à traiter des requêtes que Google n'a jamais rencontrées. La recherche s'appuie toutefois encore beaucoup sur les mots principaux d'une requête et accorde peu de poids aux petits mots.
Prenons une recherche comme « cours de plongée pour enfants ». Les mots principaux sont « cours » et « plongée », tandis que « pour enfants » est traité comme un ajout secondaire. La page qui apparaît peut être une page de cours générale qui mentionne les enfants une seule fois, en petits caractères.
Un modèle qui lit le contexte comme BERT pourrait comprendre que « pour enfants » constitue l'élément central de la requête : l'âge minimum, les programmes destinés aux jeunes, la possibilité pour les parents de les accompagner. De même, dans « peut-on aller chercher une ordonnance pour quelqu'un d'autre à la pharmacie », l'expression « pour quelqu'un d'autre » représente la véritable question. La correspondance par mots-clés ne permet pas de la saisir de façon fiable.
Google n'a pas annoncé que BERT serait intégré à la recherche. Nous prévoyons néanmoins qu'il le sera, sous une forme ou une autre, et possiblement bientôt. Cette recherche appartient à Google, et comprendre ce que les gens veulent dire est au cœur de ses activités.
Pourquoi les entreprises devraient-elles rédiger de façon naturelle?
Une grande partie du référencement consiste encore à remplir les pages d'expressions exactes, par exemple « Meilleur centre de plongée Bali centre de plongée Nusa Lembongan centre de plongée ». Ces pages sont bien connues, et certaines se classent actuellement en bonne position.
Nous ne prévoyons pas que cette approche reste efficace. Lorsqu'un moteur de recherche comprend le contexte, une page qui constitue une véritable réponse à une vraie question devrait l'emporter sur une page qui répète une expression. Google recommande depuis des années de « rédiger pour les gens ». Avec des modèles de ce type, il peut commencer à le vérifier.
Concrètement, cela signifie :
- Répondez à la question que les gens posent réellement, avec les mots qu'ils utilisent.
- Incluez les petits mots. « Pour débutants », « près de Sanur », « sans voiture » : ce sont ces précisions que les gens recherchent.
- Rédigez une page claire par sujet réel, plutôt que cinq pages de faible valeur qui ciblent des variantes d'un mot-clé.
Ce conseil n'est pas nouveau, mais il deviendra beaucoup plus difficile à ignorer. Si la rédaction claire pour de vrais lecteurs représente un défi pour votre entreprise, une rédaction Web professionnelle répond précisément à ce besoin. Le texte n'a pas besoin d'être recherché; il doit répondre à la question.
Pendant une vingtaine d'années, on a appris à rédiger de façon peu naturelle pour des machines, et ce sont maintenant les machines qui apprennent à lire. La stratégie la plus efficace pourrait de nouveau consister à rédiger de façon naturelle, pour les gens.