Notre robot : SpyXBot
Vous avez vu SpyXBot dans les journaux de votre serveur ? Voici qui il est, ce qu'il fait, et comment le bloquer si vous le souhaitez. English version below.
Qui est SpyXBot ?
SpyXBot est le robot de SpyX, un outil d'audit SEO et de visibilité IA. Il ne visite un site que lorsqu'une personne en demande l'audit sur spyx.fr — jamais de façon spontanée ni périodique. Il se présente avec l'en-tête suivant :
Mozilla/5.0 (compatible; SpyXBot/1.0; +https://spyx.fr/robot)
Ce qu'il fait
- Il lit d'abord votre robots.txt et respecte ses règles : toute zone en
Disallow(pourSpyXBotou pour*) n'est ni visitée, ni testée, ni comptée. - Il explore au plus 300 pages HTML par audit, en suivant les liens internes depuis la page d'accueil et, sur les grands sites, en y ajoutant un échantillon d'URL de votre sitemap, à raison d'une requête toutes les 250 ms au maximum.
- Il ralentit de lui-même dès que votre serveur répond 429 (trop de requêtes), sans jamais compter cette réponse comme une erreur de votre site.
- Il vérifie l'existence de robots.txt, sitemap.xml, llms.txt et d'une page 404, et le poids d'un échantillon d'images (requêtes HEAD, sans téléchargement).
- Il ne remplit aucun formulaire, ne crée aucun compte, n'exécute pas de JavaScript et ne stocke que ce qui est nécessaire au rapport demandé.
Comment le bloquer
Ajoutez ces deux lignes à votre fichier robots.txt ; SpyXBot n'explorera plus votre site, dès l'audit suivant :
User-agent: SpyXBot
Disallow: /
Pour n'exclure qu'une zone, indiquez son chemin à la place de / (par exemple Disallow: /go/).
Une question ?
Écrivez-nous : contact@auraleads.fr. SpyX est édité par Auraleads (France).
About SpyXBot (English)
SpyXBot is the crawler of SpyX, an SEO and AI-visibility audit tool. It only visits a website when someone requests an audit of that site on spyx.fr — never on its own schedule. It identifies itself as Mozilla/5.0 (compatible; SpyXBot/1.0; +https://spyx.fr/robot).
- It reads your robots.txt first and honours it: anything under
Disallow(forSpyXBotor*) is neither fetched, tested nor counted. - It crawls at most 300 HTML pages per audit, following internal links from the home page (plus a sample of sitemap URLs on large sites), with at least 250 ms between requests, and backs off as soon as your server answers 429.
- It checks robots.txt, sitemap.xml, llms.txt, the 404 page, and the size of a sample of images (HEAD requests only). It submits no forms, creates no accounts and runs no JavaScript.
To block it, add to your robots.txt:
User-agent: SpyXBot
Disallow: /
Questions: contact@auraleads.fr.