Robots.txt

Robots.txt est un fichier qui permet de contrôler l’indexation des pages d’un site web par les robots des moteurs de recherche. Ce fichier est situé à la racine du site et contient des instructions pour les robots d’indexation, où ils doivent se rendre et où ils ne doivent pas aller sur le site. Les directives contenues dans le fichier robots.txt peuvent aider à améliorer le référencement naturel (SEO) du site en évitant que des pages non-utiles soient indexées.

Le fonctionnement des robots.txt

Les robots.txt fonctionnent en indiquant aux moteurs de recherche les parties du site web qui peuvent ou non être explorées. Pour ce faire, les propriétaires de sites web éditent un fichier texte qui doit être nommé robots.txt et placer à la racine du site.

• User-agent: il s’agit du nom du robot d’indexation des recherches. Par exemple, pour Google, le robot d’indexation se nomme Googlebot.
• Disallow: ce terme indique les pages du site web que le robot de recherche n’a pas le droit de visiter et d’indexer.
• Allow: ce terme indique les pages autorisées pour l’indexation.
• Sitemap: ce terme permet de préciser l’emplacement du sitemap de votre site au robot de recherche.

En général, lorsqu’un robot d’indexation entre sur votre site pour la première fois, il va chercher immédiatement le fichier robots.txt pour déterminer la marche à suivre pour l’indexation des pages. Si le fichier robots.txt spécifie des pages à exclure, le robot ne les explorera pas, ce qui peut améliorer la sécurité du site et éviter de révéler des informations confidentielles.

Comment créer un fichier robots.txt avec WordPress

Si vous utilisez WordPress, vous pouvez facilement créer un fichier robots.txt en installant un plugin. Le plugin le plus utilisé pour cette fonctionnalité est Yoast SEO. Une fois installé, allez dans l’onglet SEO, puis outils et fichiers de l’éditeur. Ici, vous pouvez créer et éditer votre fichier robots.txt avec les directives souhaitées.