• C’est quoi un robots.txt ?

Le robots.txt ou appelé aussi fichier d'exclusion des robots, est une ressource de format texte qui peut être placée à la racine de votre site. Ce fichier contient une liste des instructions destinées aux moteurs.
Ce fichier vous permet de laisser des instructions aux spiders comme :

• Bloquer l'accès de votre site à certains robots
• Ne permet pas l'examen de certaines pages de votre site aux spiders
• Interdire l'exploration de certaines pages à certains spiders

• Créer un « robots.txt »

Pour créer un fichier robots.txt, il faut commencer par créer un fichier texte, le nommer robots.txt (attention au pluriel et de le nommer en minuscule) et le placer à la racine de votre site Web. Il ne peut exister qu'un seul fichier robots.txt sur un site. La structure d'un fichier robots.txt est la suivante :

User-agent: { nom du robot }
Disallow: { document-a-exclure }

User-agent

User-agent: { nom du robot } :> accès accordé à un robot précis.

User-agent: * => accès accordé à tous les robots

Disallow

• Disallow:  => c’est l’équivalent du non existence du fichier robots.txt, il indique au robot que tous doit être indexer.
• Disallow:  / => bloquer le site dans son intégralité
• Disallow: /exemple => ne permet pas l'indexation ni de http://www.monsite.com/exemple/index.html, ni de http://www.monsite.com/exemple.html (n’indexe pas tous le contenu du repertoire exemple).
• Disallow: /exemple/ => ne permet pas d’indexer http://www.monsite.com/exemple/index.html, mais par contre le robot peut indexer http://www.monsite.com/exemple.html.
• User-agent: Googlebot-Image
  Disallow: /

=> Supprimer toutes les images de votre site de Google Recherche d'images

La liste de de certains robots

Outil de recherche:     User-Agent de l'outil

Google                                    googlebot
Alta Vista                                   Scooter
Infoseek                         InfoSeek Sidewinder
Excite                                    ArchitextSpider
Lycos                              Lycos_Spider_(T-Rex)
Northern Light                         Gulliver


Si vous avez des problèmes pour créer le fichier robots.txt, vous pouvez le générer facilement en utilisant l’outil Google pour les webmaster. http://www.google.com/support/webmasters/bin/answer.py?hl=fr&answer=156449

Source : abondance