Norman Hurens
Robots.txt

Le fichier Robots.txt sert à quoi?

Fichier placé à la racine du site web, contenant des directives à destination des robots. Cela permet aux webmasters d’indiquer les ressources du site qui ne doivent pas être prises en compte par certains ou par tous les robots, tout en restant accessibles par les navigateurs.

 

 

 

Exemple de fichier Robot.txt

Exemples :

User-agent: *

Disallow: /fichier.html

interdit à tous les moteurs la page fichier.html, située à la racine
User-agent: *

Disallow: /dossier/

interdit à tous les moteurs le répertoire /dossier
User-agent: Scooter

Disallow: /home.html

interdit à Altavista la page /home.html
User-agent: *

Disallow:

autorise tout le site à tous les moteurs
User-agent: *

Disallow: /

interdit tout le site à tous les moteurs
User-agent: *

Disallow:

User-agent: Slurp

Disallow: /

autorise tout le site à tous les moteurs, sauf Inktomi