Fichier robots.txt
Le fichier robots.txt, placé à la racine du site, donne des instructions aux robots d'exploration : quelles sections ils peuvent parcourir, lesquelles éviter, et où trouver le sitemap. C'est la première chose que consulte un moteur avant de crawler.
Une erreur fréquente et grave : bloquer par mégarde tout le site après une mise en production. SpyX lit votre robots.txt, vérifie qu'il n'interdit pas de pages stratégiques et confirme que les robots d'IA y ont accès.
Ce que robots.txt fait — et ne fait pas
Le fichier robots.txt, placé à la racine du domaine, indique aux robots quelles zones ils ne doivent pas explorer. Il économise le budget d'exploration sur les parties sans intérêt : espaces d'administration, moteur de recherche interne, URL à paramètres qui se multiplient.
Ce n'est ni une mesure de sécurité ni un outil de désindexation. Le fichier est public : y lister un répertoire sensible revient à en donner l'adresse. Et une page bloquée à l'exploration peut malgré tout apparaître dans les résultats, sans description, si d'autres sites y renvoient. Pour retirer une page, la directive noindex est le bon outil.
Le cas des robots d'IA
Les moteurs génératifs déclarent leurs propres agents — GPTBot, ClaudeBot, PerplexityBot, Google-Extended et d'autres. Beaucoup de sites les bloquent sans y avoir réfléchi, en recopiant un robots.txt trouvé en ligne. C'est une décision à prendre en connaissance de cause : chaque robot bloqué est un moteur qui ne pourra jamais vous citer comme source. Pensez aussi à déclarer votre sitemap dans le fichier, ligne souvent oubliée.
Vérifier avant de bloquer
Une erreur dans robots.txt peut rendre un site entier invisible — la ligne Disallow: / oubliée après une mise en ligne est un classique. Testez toujours vos règles avec l'outil de la Search Console avant de les déployer, et relisez le fichier après chaque refonte : c'est le fichier le plus court du site et le plus coûteux quand il est faux.
Voir aussi
Un doute sur ce point sur votre site ?
SpyX le vérifie — avec des dizaines d'autres contrôles — gratuitement, en 90 secondes.
Analyser mon site gratuitement →