robots Archives - Gazelle du Web » Gazelle du Web 

Menu
  1. Tout connaître sur les fichiers robots.txt

    30 mars 2011 par Aurélia Lory
    Le fichier robots.txt

    Le fichier robots.txt

    Pour comprendre la notion de robots.txt, il est tout d’abord nécessaire de comprendre le fonctionnement des robots d’indexation, aussi appelés spiders, ou web crawlers ou bien encore bots ! Ces araignées du web sont des robots créés par les moteurs de recherche. Leurs missions sont de visiter le plus de pages web possibles et d’en mémoriser le contenu et les expressions clés, afin de pouvoir utiliser ces renseignements pour présenter des résultats pertinents aux internautes qui réalisent une requête. C’est ce qui permet à Google d’afficher un nombre phénoménal de résultats en seulement 0.15 secondes !

     

    (…)