Il existe plusieurs façons de donner des indications aux robots des moteurs de recherche : robots.txt (crawl), balise meta robots (indexation), etc. Mais on oublie souvent la directive X-Robots-Tag du protocole HTTP, qui peut également rendre de nombreux services...
Nous continuons notre série de vidéos sur les notions d'indexation/désindexation de pages web dans l'index des moteurs de recherche. Après le robots.txt, voici venir la directive X-Robots-Tag du protocole HTTP.
Elle n'est souvent pas très connue, mais elle peut rendre de fiers services, notamment pour traiter des fichiers non-HTML (exemple : PDF, Word ou autre) ou lorsqu'on n'a pas accès au code HTML des pages. Mais attention : son utilisation peut s'avérer assez technique. Elle doit donc être gérée par un admistrateur système ou une personne qui maîtrise bien son sujet et parle "regex première langue".
Voici donc une petite vidéo pour mieux connaître cette directive X-Robots-Tag, qui permet d'ailleurs de faire bien autre chose que de la simple indexation/désindexation : fonctionnement, différences entre Bingbot et Googlebot pour sa prise en compte et modalités de mise en œuvre. Plus d'infos donc à ce sujet dans cette 153e vidéo SEO Abondance :
X-Robots-Tag, ce méconnu... Vidéo N°153 proposée par Olivier Andrieu (Abondance). Source : Abondance
|
|
Autres vidéos touchant à ce sujet
|
|
Articles complémentaires (listés par ordre chronologique)
|
| N'hésitez pas également à visiter la zone "Vidéos SEO" du site et à vous abonner à la chaîne YouTube du site Abondance (ou à son fil RSS) pour découvrir, semaine après semaine, les prochaines vidéos que nous vous proposerons. |
Notre Chaîne YouTubeArticles complémentaires :
Goossips SEO : fichier robots.txt
Google Search Console dévoile son nouveau rapport robots.txt
Goossips SEO : Outils SEO, nombre de followers et FAQ Robots.txt
Goossips SEO : URL canonique, robots.txt, X-RateLimit
Fichier robots.txt : plus besoin de le placer sur le domaine racine !
Aussi utile pour les images et les videos