Robotul nostru: SpyXBot
Ați văzut SpyXBot în jurnalele serverului dumneavoastră? Iată cine este, ce face și cum îl puteți bloca dacă doriți. English version below.
Cine este SpyXBot?
SpyXBot este robotul SpyX, un instrument de audit SEO și de vizibilitate în IA. Vizitează un site doar atunci când cineva îi solicită auditul pe spyx.fr — niciodată spontan sau periodic. Se prezintă cu următorul antet:
Mozilla/5.0 (compatible; SpyXBot/1.0; +https://spyx.fr/robot)
Ce face
- Citește mai întâi robots.txt și îi respectă regulile: orice zonă marcată
Disallow(pentruSpyXBotsau pentru*) nu este nici vizitată, nici testată, nici numărată. - Explorează cel mult 300 de pagini HTML per audit, urmând linkurile interne de pe pagina principală și, pe site-urile mari, adăugând un eșantion de URL-uri din sitemap-ul dumneavoastră, cu cel mult o cerere la fiecare 250 ms.
- Încetinește singur de îndată ce serverul dumneavoastră răspunde 429 (prea multe cereri), fără a considera vreodată acest răspuns o eroare a site-ului.
- Verifică existența fișierelor robots.txt, sitemap.xml, llms.txt și a unei pagini 404, precum și dimensiunea unui eșantion de imagini (cereri HEAD, fără descărcare).
- Nu completează formulare, nu creează conturi, nu execută JavaScript și păstrează doar ce este necesar raportului solicitat.
Cum îl blocați
Adăugați aceste două linii în fișierul robots.txt; SpyXBot nu va mai explora site-ul dumneavoastră începând cu auditul următor:
User-agent: SpyXBot
Disallow: /
Pentru a exclude doar o zonă, indicați calea ei în locul lui / (de exemplu Disallow: /go/).
O întrebare?
Scrieți-ne: contact@auraleads.fr. SpyX este editat de Auraleads (Franța).
About SpyXBot (English)
SpyXBot is the crawler of SpyX, an SEO and AI-visibility audit tool. It only visits a website when someone requests an audit of that site on spyx.fr — never on its own schedule. It identifies itself as Mozilla/5.0 (compatible; SpyXBot/1.0; +https://spyx.fr/robot).
- It reads your robots.txt first and honours it: anything under
Disallow(forSpyXBotor*) is neither fetched, tested nor counted. - It crawls at most 300 HTML pages per audit, following internal links from the home page (plus a sample of sitemap URLs on large sites), with at least 250 ms between requests, and backs off as soon as your server answers 429.
- It checks robots.txt, sitemap.xml, llms.txt, the 404 page, and the size of a sample of images (HEAD requests only). It submits no forms, creates no accounts and runs no JavaScript.
To block it, add to your robots.txt:
User-agent: SpyXBot
Disallow: /
Questions: contact@auraleads.fr.