Ceci est un fichier technique qui est très important pour le référencement de site web. Cet élément de votre site indique aux moteurs de recherche quelles pages de votre site sont destinées pour eux. Quelles pages faut-il indexer.
Quel est le rôle de robots.txt dans le SEO ?
A travers le fichier robots.txt vous pouvez empêcher les moteurs de recherche d’accéder à certaines de vos pages. Celles qui représentent un contenu sensible et celles qui n’ont pas d’importance pour votre activité. Tout d’abord, vous pouvez exclure l’indexation de toutes vos pages d’administrateur.
Vous pouvez également l’utiliser pour empêcher les moteurs de recherche de voir du contenu en dupliqué sur votre site.
Dans le fichier robots.txt vous renseigner aux robots des moteurs de recherche l’emplacement de votre Sitemap – le plan du site. Celle-ci contient une liste exhaustive de liens que les robots sont appelés à indexer sur votre site.