Documentation sur les grands process de crawl et d'indexation

Bonjour,

Alors désolé mais je ne vais pas répondre précisément à ta question mais peut-être apporter quelques éléments utiles, extraits d'une interview récente de Matt Cutts par Eric Enge.
(Transcript complet ici : http://www.stonetemple.com/articles/interview-matt-cutts-012510.shtml )

Deux éléments qui ressortent en terme de crawl :

- Google crawl et indexe les sites en fonction du PageRank des pages du site. Plus le PR d'une page est bas, plus sa fréquence de crawl est basse. Le crawl peut aussi être influencer par le nombre de connections simultanée que le serveur peut accueillir.

- Bloquer une Url dans le robots.txt ne sauvera pas ton "crawl budget", car il garde les URLs dans leur index

En terme de crawl pur, je n'ai pas souvenir d'autres éléments dans l'interview, mais celle-ci regorge d'éléments intéressants sur d'autres sujets qui sont liés (redirection, duplicate, session ID, etc...)

J'essaierai de voir si je trouve un document complet plus tard :)