X-Robots-Tag, ce méconnu… Vidéo SEO Abondance N°153

Il existe plusieurs façons de donner des indications aux robots des moteurs de recherche : robots.txt (crawl), balise meta robots (indexation), etc. Mais on oublie souvent la directive X-Robots-Tag du protocole HTTP, qui peut également rendre de nombreux services...

Nous continuons notre série de vidéos sur les notions d'indexation/désindexation de pages web dans l'index des moteurs de recherche. Après le robots.txt, voici venir la directive X-Robots-Tag du protocole HTTP.

Elle n'est souvent pas très connue, mais elle peut rendre de fiers services, notamment pour traiter des fichiers non-HTML (exemple : PDF, Word ou autre) ou lorsqu'on n'a pas accès au code HTML des pages. Mais attention : son utilisation peut s'avérer assez technique. Elle doit donc être gérée par un admistrateur système ou une personne qui maîtrise bien son sujet et parle "regex première langue".

Voici donc une petite vidéo pour mieux connaître cette directive X-Robots-Tag, qui permet d'ailleurs de faire bien autre chose que de la simple indexation/désindexation : fonctionnement, différences entre Bingbot et Googlebot pour sa prise en compte et modalités de mise en œuvre. Plus d'infos donc à ce sujet dans cette 153e vidéo SEO Abondance :

X-Robots-Tag, ce méconnu... Vidéo N°153 proposée par Olivier Andrieu (Abondance). Source : Abondance