L'outil de dialogue boosté à l'IA ChatGPT d'Open AI défraie la chronique depuis sa sortie, au point que l'on parle de concurrence directe à Google et que l'on prédit la prochaine mort de la firme de Mountain View. Pourtant, tout cela est bien dans l'ordre normal de l'évolution des outils de recherche. Et ChatGPT est encore loin de concurrencer le moteur leader...
Depuis quelques semaines, l'outil ChatGPT d'Open AI défraie la chronique par son système de questions-réponses assez bluffant (même en français) et nourri par l'intelligence artificielle. Le système a certes ses limites, mais il reste performant pour un certain nombre de requêtes, notamment informationnelles.
Voici deux exemples de questions pour lesquelles la réponse de ChatGPT est plutôt de bonne qualité :
Questions sur le SEO et Google, réponses de ChatGPT. Source : Abondance
Mais il faut bien constater que souvent, les réponses sont truffées d'imprécisions, voire d'erreurs. Voici quelques exemples parmi tant d'autres, avec les explications en légende :
Question sur Spirou, qui a été créé par Rob-vel et non Franquin. Un groom n'est pas vraiment un valet de chambre. Spip est un écureuil et non pas un hamster. Les autres dessinateurs n'ont pas attendu la mort de Franquin pour reprendre le personnage. Etc. Source : Abondance
Question sur Iznogoud : ici Goscinny est le scénariste et non pas dessinateur (bien qu'il l'ait été avant d'être scénariste). Mais pour Iznogoud, il est clairement le scénariste et pas le dessinateur. Jean Tabary est français (bien que né à Stockholm) et pas franco-belge. Source : Abondance
Question sur Abraracourcix : le nom de la femme du chef du village gaulois est Bonemine et non pas Bonnaire. Source : Abondance
Question sur le vin Klevener : Pas de mention au début d'Heiligenstein, berceau du Klevener depuis 1742 et unique ville productrice de ce vin. Heiligenstein se situe de plus dans le Bas-Rhin et non pas le Haut-Rhin. Etc. Source : Abondance
On voit sur ces quelques exemples (qui n'ont pas vocation à être une étude scientifique de la fiabilité de ChatGPT mais qui pourraient être répété quasiment à l'infini) que cet outil peut difficilement être utilisé sans vérifier sur d'autres sources le résultat renvoyé. La fiabilité n'est clairement pas (encore) au rendez-vous... Posez à ChatGPT une question sur un sujet que vous connaissez bien et vous vous en rendrez immédiatement compte. Il est inconcevable aujourd'hui de se servir de ChatGPT comme d'un moteur de recherche lambda pour ses besoins quotidiens de recherche d'informations.
Il n'empêche que l'outil est remarquable par la forme des réponses qu'il renvoie (des phrases structurées et longues, descriptives, sans faute d'orthographe) et en cela, il est prometteur de ce que cela donnera lorsque les nombreuses erreurs actuelles seront corrigées. Aujourd'hui, on peut estimer que 90% du contenu des réponses fournies sont assez fiables. Mais quand, dans cette réponse, 10% est faux, cela ne permet pas d'avoir une confiance inaltérable en l'outil. En cela, il nous semble impossible qu'il puisse concurrencer aujourd'hui Google. En revanche, cela peut bien montrer à quoi ressembleront les moteurs de recherche d'ici quelques années, de façon évidente.
Alerte rouge chez Google
En tout cas, la sortie de ce produit a provoqué un « code rouge » chez Google et les dirigeants de la firme de Mountain View semblent avoir demandé à ses ingénieurs de presser le pas dans le développement (en cours, bien sûr, depuis de nombreux mois, notamment autour de LaMDA) d'une technologie équivalente. Mais il est clair que les dimensions de fonctionnement effectif entre ChatGPT et Google ne sont pas les mêmes :
- Le degré d'erreurs renvoyées par ChatGPT aujourd'hui ne serait pas admis si c'était Google qui les renvoyait sur son moteur officiel (mais ce sera peut-être le cas sur un outil expérimental qui sera certainement lancé en 2023).
- Le volume d'informations brassées et indexées par Google (des centaines de milliards de pages web) n'a aucune commune mesure avec celui de ChatGPT.
- Idem pour le volume de requêtes traitées chaque seconde.
Sundar Pichai, PDG de Google, et et Jeff Dean, responsable de l'IA au sein d'Alphabet, temporisent : « Il s'agit d'un domaine où nous devons être audacieux et responsables. Nous devons donc trouver un équilibre (…) Pour la recherche, les questions de véracité sont vraiment importantes ; et pour d'autres applications, les questions de partialité, de toxicité et de sécurité sont également primordiales ». D'ailleurs Sam Altman, PDG de OpenAI, ne dit pas autre chose et a dernièrement admis les limites de son outil : « ChatGPT est incroyablement limité, mais assez bon dans certains domaines pour donner l’impression trompeuse d’être génial. Ce serait une erreur de compter dessus pour quoi que ce soit d’important à l’heure actuelle (…) il y a beaucoup de travail encore à faire en termes de robustesse et de véracité. »
Il faut donc certainement passer au-delà de l'aspect « Wahou » (qui est clairement réel) de ChatGPT et se dire qu'il s'agit avant tout d'une vision de ce que seront les moteurs de recherche à moyen terme (sachant que sur Internet, la notion de moyen terme est relative : on parle ici de quelques années seulement). Il est clair que les « 10 liens bleus » vont bientôt disparaître, sous leur forme actuelle, en tout cas. Il est d'ailleurs probable que 2023 soit une année charnière à ce niveau et que Google va nous montrer des choses prochainement, peut-être dès l'événement Google I/O du mois de mai prochain.
Reste à voir alors comment le SEO s'adaptera à cette nouvelle norme, ces nouveaux standards d'évolution. Car l'adaptation risque d'être importante et pas si facile…
Articles complémentaires :
Qualité du contenu : Ce que dit (vraiment !) l’algorithme Google
L’interface Bing-ChatGPT commence à fuiter
Prompts ChatGPT : le guide SEO
Sparrow, l’arme anti-ChatGPT de Google
Bing veut injecter du ChatGPT dans son moteur de recherche
ChatGPT n’accède pas au Web . C’est un model statique sur la base des données visibles à une date donnée, peut-être courant 2021.
Il faut aller voir sur perplexity.ai pour voir ce que pourrait donner le couplage.
Très bonne analyse, que je partage pleinement (j’ai d’ailleurs fait un article à ce sujet sur mon blog historique dédié à la photographie animalière) ; ChatGPT est extrêmement puissant pour trier/analyser/agréger des données notamment, ou générer du code.
Mais sur de la connaissance stricte, il est à la rue. 100% d’erreurs sur tous mes tests sur des espèces animales, quelles que soient les questions. Alors que c’est très clairement documenté.
Il faut bien comprendre qu’il… agrège des données, issues de plusieurs pages qui n’ont pas forcément la même intention de recherche.
Par exemple si on lui demande « cite moi les espèces d’oiseaux de la famille des prunellidés » il est incapable de dire qu’il n’y en a que 12 et que toutes sont des accenteurs. Il ressort aléatoirement d’autres espèces, parfois des mésanges, parfois d’autres, parce qu’il a trouvé le terme « prunellidé » sur des pages (par exemple) d’oiseaux des jardins, et qu’il est actuellement incapable de discernement entre une page qui liste des oiseaux observés dans un jardin, et une page qui liste des oiseaux d’une famille ou d’un genre.
Quoi qu’il en soit, c’est un formidable outil, mais à utiliser à bon escient !
Bonjour, ce qu’il faut comprendre, c’est qu’il prend en compte TOUS les résultats du net, même provenant de site qui pourrait dire des choses fausses par exemple. Il n’est donc pas encore au point certes mais je pense que ChatGPT évoluera bien assez vite malheureusement… Sacré Elon Musk il va tous nous renvoyer chômeurs 😭
L’ IA ne pourra jamais se passer d’être humain, elle a beau nous faciliter la vie, elle est loin d’être parfaite
À voir, ce genre d’IA peut être intéressant pour répondre à des requêtes informationnelles. Mais pour chercher des produits et services, c’est loin de ce que peut proposer Google en terme de qualité.
Oui pour les requêtes informationnelles, ça pourra être très intéressant lorsque le taux d’erreurs sera réduit. Mais pour l’instant, ça semble impossible. Question de temps, certainement…
Hello Olivier,
Je pense que le biais dans ton raisonnement est de comparer Chat GPT à un moteur de recherche.
L’outil ne devrait pas être comparé à Google, mais plutôt à Google Assistant.
Si tu demandes à Chat GPT de t’écrire un poème ou bien de te souffler des questions pour l’interview d’un homme politique polonais dont tu n’as jamais entendu parler, c’est là que tu te rends compte de la puissance de la machine. Et ce n’est qu’un début…
En même temps, utiliser Google Assistant pour rechercher de l’information, on sait très bien aujourd’hui que cela ne fonctionne pas. Dpnc comparer un outil comme chatGPT (qui n’est pas vocal à ma connaissance) à un simple (sic) système d’inetrface vocale (Google Assistant), je doute quand même que ça soit pertinent.
Je n’y crois pas forcément, il est loin de rivaliser avec Google pour l’instant
A suivre dans le temps même si très prometteur et permet de concurrencer google
ChatGPT ne permet apparemment pas de retracer les raisonnements logiques sous-jacents et il n’y pas de bond en avant méthodologique
Il est encore loin de rivaliser avec Google à cette stade mais les surprises que l’outil nous réservent dans les prochaines améliorations restent encore jusque des choses aussi extraordinaire que cette première version.
C’est sûr et certains qu’il y aura des améliorations possibles dans un avenir proche.
Mais comme beaucoup l’ont dit, ça va peut-être pas concurrencer directement Google dans un premier temps mais ça va influencer beaucoup le futur dans tous les aspects possibles.
Tout à fait d’accord, l’outil est bourré d’erreurs.
J’ai par exemple demandé des chiffres/montants très connus (ou un peu moins) en 2021 (ex : le montant du plafond annuel de sécu), pour 5 données différentes, toutes étaient fausses… Sans commentaire.
J’ai essayé de lui faire rédiger un article seo à base de liste de mots-clés… beurk, résultat nul avec 2 grosses erreurs juridiques (voire contresens) relevées dans le texte de 1000 signes.
Tous ces outils d’IA semblent à ce jour très intéressants pour de la créativité pure, mais pour le reste (notamment quand on a besoin de véracité), pas ouf…
Méfions nous de l’effet Wahou, du genre « Métavers » (on voit le retour de bâton pour Méta avec le recul).
Maintenant, c’est sur que ça pose question pour l’avenir du seo si on va dans ce sens. Quel modèle économique ?
L’accord tacite entre Google et ses « partenaires » de fait est de produire du contenu gratuitement en échange que Google y affecte du trafic gratuit (en partie en tout cas).
Quel intérêt alors pour les producteurs de contenus de continuer à en produire si les moteurs de recherche ne fournissent plus que des réponses directes à l’internaute (en mode featured snippett évolué…) ? C’est une équation impossible à résoudre.
Sans parler du copyright (tous ces outils s’accaparent gratuitement des contenus publics à de sfins mercantiles) et de la diversité des sources d’informations (pour lutter contre la manipulation de l’info)…
Pour le coup, il est possible de corriger le bot en lui indiquant où il s’est trompé. Une fois que c’est fait, il ne se trompe plus.
Pour avoir essayé pour quelques scripts en PHP, il a réussi à me donner des réponses solides là où j’aurais probablement fait appel à un dev contre quelques piécettes.
C’est loin d’être parfait mais cette machine est capable de beaucoup de choses.
Si les chatbots avaient vraiment décollés il y a quelques années, ChatGPT pourrait être considéré comme un moteur de recherche. Même sans cette condition, il ne résiste pas à l’analyse :
1 – Le public est habitué à consulter des pages web pour trouver une info
2 – Pour des infos factuelles, Google donne souvent des réponses directes et pertinentes. Pour des requêtes e-commerce, des résultats de sites marchands. On reste sur un pourcentage de requêtes très limité par rapport à l’usage courant de Google.
3 – Un moteur de recherche, c’est un index couplé à une interface utilisateur. L’ « index » d’OpenAI est un dataset incomplet qui ne cite pas ses sources et son interface est ce qu’elle est.
4 – Il y a eu pléthore de moteurs de recherche alternatifs depuis 10 ans, chacun avec leurs spécificités (confidentialité, recherche universelle, démagogie, métamoteurs…) mais aucun n’a plus au public pour être un concurrent à Google.
Un peu de concurrence est toujours très sain pour contrer l’hégémonie de Google
Je me sert du moteur de recherche Google pour rechercher une page qu’il a indexé et qui contient mes mots clés.
Je me sert désormais du modèle génératif ChatGPT pour générer des ébauches, par exemple une liste de questions que je pourrais me poser pour aborder un domaine de connaissance, un résumé d’une liste volumineuse de commentaires ou d’avis, une traduction, une liste de règles de gouvernance, un code macro VBA ou python, etc.
En ce sens, j’apprécierais que ChatGPT soit intégré à mon interface de traitement de texte ou de slides ou d’articles.
Avant, j’utilisais le moteur de recherche pour trouver une synthèse ou une liste existante pour aller plus vite. Désormais j’utilise ChatGPT ou le moteur de recherche Google selon mes besoins. Et dans les faits, j’utilise donc moins souvent Google.
Ce que j’aimerais, c’est que tout ceux qui proposent des outils de production de texte (Microsoft Word, WordPress, GoogleDoc, Gmail, etc.) ou d’image créés chacun un projet code vert pour compléter ces outils au service des producteurs de contenus par les fonctions des IA génératives.