Outils pour les Robots

Cet outils génère un fichier robots.txt, pour guider les robots des principaux moteurs de recherche, lors l'indexation de vos pages.

RobotStats est une application gratuite permettant d'analyser les visites des robots sur votre site, développée par Olivier Duffez (WebRankInfo). Pour chaque page de votre site contenant un petit bout de code PHP, RobotStats détecte si le visiteur est un des 180 robots pris en compte par l'application. Si c'est le cas, la visite est enregistrée dans une base de données MySQL.

Ensuite, il est possible de visualiser des statistiques complètes :

Voici les questions (et les réponses !) les plus fréquemment posées sur les robots (ou crawlers ou spiders), la façon de les détecter et les moyens pour les empêcher d'indexer certaines pages.

La liste de toutes les questions est disponible en 1 clic, classées par ordre initial ou par nombre de hits.

Description de la Balises META robots
Qu'est-ce que la balise META robots ?
Où dois-je placer la balise META robots ?
Dois-je indiquer aux robots que j'autorise l'indexation d'une page ?
Quelle est la syntaxe complète de la balise META robots ?