Verificador de crawlers de IA
Introduza o seu URL. Lemos o seu robots.txt e llms.txt e mostramos, para cada crawler de IA, se tem acesso.
Porque é que os crawlers de IA importam
O ChatGPT, o Perplexity e o Google AI Overviews só o podem citar se os seus crawlers puderem ler as suas páginas. Muitos sites bloqueiam-nos sem saber: um plugin de segurança antigo, uma definição de CDN ou uma regra acrescentada um dia contra «scrapers».
Treino ou pesquisa
Nem todos os crawlers fazem o mesmo. O GPTBot e o Google-Extended recolhem dados para treino; o OAI-SearchBot, o PerplexityBot e o Claude-SearchBot obtêm páginas para responder em tempo real. Se permitir apenas os de pesquisa, continua citável sem contribuir para o treino.
Como permitir um crawler
Acrescente ao robots.txt um bloco com «User-agent:» seguido do nome do crawler e «Allow: /». Depois verifique também a firewall ou a CDN: desde 2025, a Cloudflare bloqueia por defeito os bots de IA em domínios novos.
O que é o llms.txt?
O llms.txt é um ficheiro de texto simples na raiz do seu site que explica aos modelos de linguagem o que faz e quais as páginas mais importantes. Não é uma norma oficial, mas cria-se em minutos e ajuda os sistemas de IA a perceber o seu site mais depressa.
Perguntas frequentes
E se isto fosse feito sozinho, todos os dias?
O Autopilot trata da camada GEO de cada novo artigo que publica.
Pedir acesso antecipado