Anthropic a lancé Claude 3 au début du mois, en trois modèles : Haiku, Sonnet et Opus. Opus est le plus puissant, et c'est la première fois depuis un certain temps qu'une solution de rechange à ChatGPT se démarque à nos yeux par la qualité de sa rédaction.
Cette nouveauté modifie une question à laquelle nous répondions auparavant sans hésiter. Nos clients nous demandent souvent pour quel outil d'IA payer. Nous utilisons les modèles d'OpenAI depuis GPT-3 et nous avons rédigé un guide de ChatGPT pour débutants l'an dernier; pendant longtemps, la réponse était donc simplement « ChatGPT ». Aujourd'hui, la réponse dépend de plusieurs facteurs, et une recommandation utile doit préciser lesquels.
Quels assistants IA valent un abonnement ce printemps?
Trois assistants se démarquent. Voici un portrait de la situation ce printemps, puisqu'elle évolue de semaine en semaine.
ChatGPT demeure le choix par défaut. La plupart des personnes qui utilisent l'IA se servent de cet outil. Le forfait payant Plus donne accès à GPT-4, à la génération d'images, à l'analyse de fichiers, à la navigation Web et aux GPT personnalisés, et depuis janvier un GPT Store en propose un vaste choix. Certains sont de bonne qualité; beaucoup ne sont guère plus qu'une consigne accompagnée d'un logo. ChatGPT est le plus polyvalent des trois, à la manière d'un couteau suisse.
Gemini est l'assistant de Google, et il porte ce nom seulement depuis février. Bard a été retiré, et une version payante, Gemini Advanced, est incluse dans un forfait Google One. Son principal avantage est son intégration à Gmail, à Docs et à la recherche. Google a aussi présenté Gemini 1.5 Pro, capable de traiter une très grande quantité de texte en une seule fois. Le dernier mois a toutefois été difficile pour le produit, puisque Google a suspendu la génération d'images de personnes après des erreurs très médiatisées.
Claude 3, enfin, est le nouveau venu le plus remarqué. Opus rédige d'une manière qui ressemble moins à une brochure, et il traite bien les longs documents. C'est aussi celui des trois qui reconnaît le plus volontiers « je ne suis pas sûr », une qualité que nous jugeons plus importante que n'importe quel score de banc d'essai.
Les trois forfaits payants coûtent à peu près la même chose, environ vingt dollars américains par mois; le prix ne déterminera donc pas le choix.
Comment comparer les assistants IA?
Sur vos propres tâches plutôt que sur des bancs d'essai. Chaque lancement s'accompagne d'un graphique montrant un modèle qui en surpasse un autre à tel examen, tel test de programmation ou telle série de problèmes de mathématiques. Ces graphiques sont exacts, mais ils mesurent des tâches qu'un propriétaire de PME n'effectue jamais.
La méthode efficace est simple. Choisissez cinq tâches réelles prévues ce mois-ci et soumettez exactement la même consigne aux trois assistants. Les nôtres ressemblent à ceci :
- Réécrire une page Web anglaise en français québécois en gardant le ton.
- Résumer un long PDF et indiquer ce qui y manque.
- Corriger un petit segment de PHP dans un thème WordPress.
- Rédiger une réponse à un courriel délicat qui n'a pas l'air écrite par un robot.
- Prendre une liste de chiffres en désordre et trouver l'erreur.
Lisez ensuite les réponses côte à côte, attentivement plutôt qu'en diagonale.
Pour les entreprises du Québec, la tâche de traduction est habituellement la plus révélatrice. L'an dernier, nous avons mené une courte séance de consultation avec PADI Americas sur les outils de traduction par IA, et nos constats d'alors demeurent valables. Les modèles sont performants en français, mais pas toujours en français québécois. Certains textes semblent provenir d'une agence parisienne. D'autres emploient correctement « courriel », puis introduisent « e-mail » deux lignes plus loin. Ces problèmes ne ressortent qu'à la lecture attentive d'une personne qui sait comment le texte doit sonner.
Quel assistant recommandons-nous pour quelle tâche ce mois-ci?
Pour la rédaction longue et la révision minutieuse, nous privilégions actuellement Claude. Pour les tâches qui exigent un outil intégré, comme un graphique, une analyse rapide d'un tableur ou une image, ChatGPT offre davantage de fonctions. Gemini est un choix logique si votre travail s'articule déjà autour de l'écosystème de Google.
Cette évaluation repose sur nos propres tâches. Vos résultats pourraient différer, et c'est précisément pourquoi nous recommandons de faire le test.
Est-il utile d'utiliser plus d'un modèle?
Oui. Payer deux abonnements peut sembler superflu, mais selon notre analyse, le coût est faible par rapport au temps économisé.
La clé est la contre-vérification. Rédigez avec un modèle, collez le texte dans un autre et demandez-lui de relever les erreurs. Les modèles ne commettent pas les mêmes erreurs. Lorsque deux modèles divergent sur un fait, vérifiez la source vous-même. Lorsqu'ils concordent, une vérification demeure souhaitable si l'enjeu est important; la concordance apporte simplement une assurance supplémentaire.
Trois abonnements ne sont pas nécessaires pour commencer. Utilisez la version gratuite de chacun, effectuez vos cinq tâches et payez celui qui obtient les meilleurs résultats pour le travail que vous faites le plus souvent. Refaites l'exercice dans six mois et inscrivez-le à votre agenda. Six mois représentent une longue période dans ce domaine, et le chef de file actuel ne le sera pas forcément à l'automne.
Que vérifier dans les paramètres de confidentialité avant d'y entrer des données de clients?
Cette étape est souvent négligée, et nous la jugeons essentielle.
Les trois entreprises n'appliquent pas les mêmes réglages par défaut. Sur ChatGPT, les conversations d'un compte personnel peuvent servir à entraîner les modèles, à moins de désactiver l'option dans les contrôles de données. Google indique que certaines conversations Gemini peuvent être lues par des réviseurs humains et recommande de ne rien y entrer de confidentiel. Anthropic indique ne pas entraîner ses modèles sur les conversations Claude des comptes personnels par défaut.
Ce sont les règles en vigueur ce mois-ci. Les conditions sont mises à jour régulièrement, et les utilisateurs n'en sont pas toujours avisés formellement. Nous recommandons donc de consulter les paramètres de chaque outil que vous utilisez, et de les relire chaque fois que l'entreprise annonce un changement.
Les renseignements personnels d'un client ne devraient pas être saisis dans une application grand public par simple commodité. Au Québec, avec la Loi 25 déjà en vigueur, il s'agit d'un enjeu important. Si vous traitez des dossiers de clients tous les jours, un forfait entreprise ou équipe assorti de conditions plus strictes constitue un investissement judicieux.
Comment une PME devrait-elle choisir un assistant cette semaine?
Nous recommandons de laisser de côté les billets de lancement et les palmarès sur YouTube. L'annonce de la famille Claude 3 par Anthropic mérite d'être lue pour comprendre ce que l'entreprise avance, en remarquant la place qu'y occupent les graphiques de bancs d'essai. Ce contenu relève du marketing et doit être lu comme tel.
Réservez ensuite un après-midi avec les cinq tâches, les trois versions gratuites et un bon café. Cet après-midi vous en apprendra davantage qu'un mois de lecture sur le sujet. Pour une équipe qui souhaite apprendre ensemble plutôt que de laisser chacun expérimenter seul, une formation en IA pratique, conçue autour de votre travail réel, est très efficace.
La tendance actuelle n'indique pas qu'un de ces trois assistants va « gagner » et faire disparaître les autres. Ils continuent de se dépasser à tour de rôle. Cette situation exige une veille constante, et elle profite aussi aux entreprises qui paient pour ces outils.