Le fichier Robots.txt sert à quoi?


Fichier placé à la racine du site web, contenant des directives à destination des robots. Cela permet aux webmasters d’indiquer les ressources du site qui ne doivent pas être prises en compte par certains ou par tous les robots, tout en restant accessibles par les navigateurs.
Exemple de fichier Robot.txt
Exemples :User-agent: *
Disallow: /fichier.html
interdit à tous les moteurs la page fichier.html, située à la racineUser-agent: *
Disallow: /dossier/
interdit à tous les moteurs le répertoire /dossierUser-agent: Scooter
Disallow: /home.html
interdit à Altavista la page /home.htmlUser-agent: *
Disallow:
autorise tout le site à tous les moteursUser-agent: *
Disallow: /
interdit tout le site à tous les moteursUser-agent: *
Disallow:
User-agent: Slurp
Disallow: /
autorise tout le site à tous les moteurs, sauf Inktomi