Définition publiée le 21/07/2023.
Les robots d'indexation sont des programmes automatisés qui parcourent le web pour découvrir, analyser et indexer les pages web. Pour contrôler la façon dont un site est crawlé par ces robots, des instructions spécifiques peuvent être utilisées. L'une d’elles est "Allow".
Définition de Allow
L'instruction Allow: est utilisée dans le domaine du SEO pour indiquer aux robots d'indexation qu'ils sont autorisés à accéder et à indexer certaines parties spécifiques d'un site. Elle est souvent utilisée en conjonction avec l'instruction "Disallow", qui indique aux robots les parties qu'ils ne doivent pas indexer.
L'objectif principal de l'instruction Allow est de fournir des indications claires aux robots d'indexation sur les zones du site qui peuvent être explorées et indexées. Cela permet aux propriétaires de sites de mieux contrôler la visibilité de leur contenu sur les moteurs de recherche.
Où est utilisée l’instruction Allow ?
L'instruction "Allow" est généralement utilisée dans le fichier robots.txt, qui est un fichier texte placé à la racine du site pour communiquer avec les robots d'indexation. Dans ce fichier, les propriétaires de sites peuvent spécifier les règles d'accès des robots à certaines parties du site.
La syntaxe de l'instruction "Allow" est simple. Elle est suivie d'un chemin relatif ou absolu indiquant l'emplacement du fichier, du répertoire ou de la section du site que l'on souhaite autoriser à l'indexation. Par exemple, si vous souhaitez autoriser l'indexation de tous les fichiers contenus dans le répertoire "images", vous pouvez utiliser l'instruction "Allow: /images/".
Exemple de syntaxe de la directive Allow
Voilà à quoi ressemble exactement la syntaxe de l’instruction Allow :
User-agent: { nom du robot d'exploration ciblé }
Allow: { l'URL ou le dossier à crawler }
Imaginons que vous voulez interdire l’ensemble de votre site au crawl, sauf vos offres. Vous écrirez :
User-agent: Googlebot
Disallow: /
Allow: /offres
Les bonnes pratiques pour utiliser l'instruction "Allow"
Pour optimiser l'efficacité de l'instruction "Allow" et éviter les erreurs potentielles, il est essentiel de respecter certaines pratiques :
- Utilisez l'instruction "Allow" de manière sélective : Soyez précis dans les zones que vous autorisez à l'indexation pour éviter de donner des permissions non intentionnelles.
- Vérifiez l'ordre des instructions : Les robots d'indexation lisent les instructions dans l'ordre dans lequel elles apparaissent. Assurez-vous que les instructions "Allow" sont placées après les instructions "Disallow" pour éviter toute confusion.
- Faites preuve de prudence lors de la modification du fichier robots.txt : Une erreur de syntaxe dans ce fichier peut avoir un impact significatif sur l'indexation de votre site. Veillez à toujours sauvegarder le fichier d'origine et à tester les modifications de manière progressive.
Mathilde Grattepanche
Responsable éditoriale & Rédactrice web
Avec sa plume affûtée et son expertise en rédaction web, Mathilde a acquis une solide expérience avant de rejoindre l’équipe en tant que responsable éditoriale d’Abondance. Quand elle est au clavier, réactivité et qualité sont toujours au rendez-vous !
