|
Les principaux critères de contrôle du passage des robots d'indexation avec X-robots-tag
Je vous explique aujourd’hui X-robots-tag, c’est une technique permet de bloquer les robots dans l’entête "http://", c’est une directive optionnelle pouvant se trouver dans l'entête « http » d'une page web au même titre que la directive Server. L’objective de mise en place de cette directive est de proposer un moyen unique et supplémentaire de contrôle du passage des robots d'indexation sur un site. Ainsi cette directive est une alternative au fichier robot.txt et à la balise méta robots. Il est important de savoir tous les valeurs possibles pour utiliser cette directive : • INDEX : indique au robot d’indexé la page • NOINDEX : indique au robot qu’il ne faut pas prendre en compte l’indexation de page. • FOLLOW : indique au crawler de suivre les liens contenus la page. • NOFOLLOW : indique au crawler qu’il ne faut pas suivre les liens contenus dans la page. • ALL | NONE: ALL = INDEX, FOLLOW (défaut), NONE = NOINDEX, NOFOLLOW. • NOODP : permet tout simplement d’indiquer aux moteurs de recherche qu’il ne faut pas utiliser le titre et la description de l'ODP provenant de l'annuaire « DMOZ » dans les SERPs. • NOYDIR : indique à Yahoo search qu’il ne faut pas utiliser le titre et la description provenant de l'annuaire Yahoo dans la page de résultat. • NOARCHIVE : indique aux moteurs de recherche qu’il ne faut pas mettre la page dans leur cache. • NOSNIPPET : indique au robot de ne pas affiché de descriptif (snippet) dans les serps. • UNAVAILABLE_AFTER: DATE (au format RFC 850) : indique au robot que la page ne doit pas ressortir dans les résultats après la date indiquée. Quelle relation entre X-Robots-Tag et back links ? Habituellement, quand l'on procède à un échange de liens avec un complice, notre principal souci est de contrôler au niveau du code source qu'il s'agisse correctement d'un lien en dur et que ce lien ne soit pas en nofollow,... Pourtant, un partenaire malin peut très bien utiliser la directive X-Robots-Tag: nofollow dans l'entête HTTP de la page concernée pour bénéficier au maximum de cet échange à votre grand désavantage...On pense de temps en temps à scruter l'en-tête HTTP ! A noter que cette technique peut également se faire avec les valeurs nofollow, none, noindex et unavailable_after. Brièvement, pour contrôler si ce partenaire de site ne vous a pas arnaqué. Tout simplement, vous pouvez vérifier manuellement l'entête de la page d’association avec le plugin de firefox « Webdeveloper : https://addons.mozilla.org/fr/firefox/addon/60/ » Bonne journée Cordialement Mehdi CapSEO |
|
Views: 1889 views
;){kind=spacer}
Report Inappropriate Content
Copyright © 2012 CapSEO All rights reserved.
