Il nostro robot: SpyXBot
Ha visto SpyXBot nei log del suo server? Ecco chi è, cosa fa e come bloccarlo se lo desidera. English version below.
Chi è SpyXBot?
SpyXBot è il robot di SpyX, uno strumento di audit SEO e di visibilità nelle IA. Visita un sito solo quando qualcuno ne richiede l'audit su spyx.fr — mai in modo spontaneo né periodico. Si presenta con la seguente intestazione:
Mozilla/5.0 (compatible; SpyXBot/1.0; +https://spyx.fr/robot)
Cosa fa
- Legge prima il suo robots.txt e ne rispetta le regole: ogni zona in
Disallow(perSpyXBoto per*) non viene visitata, né testata, né conteggiata. - Esplora al massimo 300 pagine HTML per audit, seguendo i link interni dalla home page e, sui siti grandi, aggiungendo un campione di URL della sua sitemap, con al massimo una richiesta ogni 250 ms.
- Rallenta da solo non appena il suo server risponde 429 (troppe richieste), senza mai contare questa risposta come un errore del suo sito.
- Verifica l'esistenza di robots.txt, sitemap.xml, llms.txt e di una pagina 404, e il peso di un campione di immagini (richieste HEAD, senza download).
- Non compila alcun modulo, non crea alcun account, non esegue JavaScript e conserva solo ciò che serve al report richiesto.
Come bloccarlo
Aggiunga queste due righe al suo file robots.txt; SpyXBot non esplorerà più il suo sito, a partire dall'audit successivo:
User-agent: SpyXBot
Disallow: /
Per escludere solo una zona, indichi il suo percorso al posto di / (ad esempio Disallow: /go/).
Una domanda?
Ci scriva: contact@auraleads.fr. SpyX è pubblicato da Auraleads (Francia).
About SpyXBot (English)
SpyXBot is the crawler of SpyX, an SEO and AI-visibility audit tool. It only visits a website when someone requests an audit of that site on spyx.fr — never on its own schedule. It identifies itself as Mozilla/5.0 (compatible; SpyXBot/1.0; +https://spyx.fr/robot).
- It reads your robots.txt first and honours it: anything under
Disallow(forSpyXBotor*) is neither fetched, tested nor counted. - It crawls at most 300 HTML pages per audit, following internal links from the home page (plus a sample of sitemap URLs on large sites), with at least 250 ms between requests, and backs off as soon as your server answers 429.
- It checks robots.txt, sitemap.xml, llms.txt, the 404 page, and the size of a sample of images (HEAD requests only). It submits no forms, creates no accounts and runs no JavaScript.
To block it, add to your robots.txt:
User-agent: SpyXBot
Disallow: /
Questions: contact@auraleads.fr.