Le fichier d'exclusion des robots est un fichier au format texte, placé à la racine de votre site. Il permet d'indiquer les ressources qui ne doivent pas être prises en compte par les robots.

Ce fichier permet d'indiquer aux moteurs de recherche :

- Des parties de votre site qui ne doivent pas être accessibles depuis les moteurs de recherche.
- D'éviter le « duplicate content » : Il s'agit de contenu dupliqué comme la version imprimable de vos articles.

Extrait de fichier robots.txt :
User-agent: *
Disallow: /*print=1$
Disallow: /admin/

Le « duplicate content » est sanctionné par les moteurs de recherche, c'est pour cette raison qu'il est préférable de le leur signaler. Si vous utilisez Google Sitemaps vous pourrez voir la liste des URLs ignorées grâce à ce fichier.

Vous n'avez pas la main sur ce fichier, vous ne pouvez ni le modifier ni le supprimer.