Verifica crawler IA
Inserisci il tuo URL. Leggiamo robots.txt e llms.txt e ti mostriamo per ogni crawler IA se ha accesso.
Perché i crawler IA sono importanti
ChatGPT, Perplexity e Google AI Overviews possono citarti solo se i loro crawler possono leggere le tue pagine. Molti siti li bloccano senza saperlo: un vecchio plugin di sicurezza, un'impostazione della CDN o una regola aggiunta tempo fa contro gli «scraper».
Addestramento o ricerca
Non tutti i crawler hanno lo stesso compito. GPTBot e Google-Extended raccolgono dati per l'addestramento; OAI-SearchBot, PerplexityBot e Claude-SearchBot recuperano pagine per rispondere in tempo reale. Consentendo solo i crawler di ricerca resti citabile senza contribuire all'addestramento.
Come consentire un crawler
Aggiungi in robots.txt un blocco con «User-agent:» seguito dal nome del crawler e «Allow: /». Poi controlla anche il firewall o la CDN: dal 2025 Cloudflare blocca di default i bot IA sui nuovi domini.
Che cos'è llms.txt?
llms.txt è un semplice file di testo nella root del sito che spiega ai modelli linguistici cosa fai e quali pagine contano di più. Non è uno standard ufficiale, ma si crea in pochi minuti e aiuta i sistemi IA a capire il tuo sito più in fretta.
Domande frequenti
E se lo facesse da solo, ogni giorno?
L'Autopilot gestisce il livello GEO di ogni nuovo articolo che pubblica.
Richiedi l'accesso anticipato