No mês passado analisei os logs de servidor de um cliente de comércio eletrónico e deparei-me com algo curioso: o GPTBot fazia 40.000 pedidos por mês, o ClaudeBot andava pelos 12.000 e o PerplexityBot passava a cada poucos minutos. Nenhum destes crawlers estava mencionado no robots.txt do site. A equipa nem sabia que estes bots existiam — quanto mais que havia algo a fazer em relação a eles. É este o problema com que a maioria das empresas se depara agora: o seu robots.txt provavelmente ainda foi escrito a pensar no Googlebot e no Bingbot, enquanto um novo exército de crawlers indexa o site para o ChatGPT, o Claude e o Perplexity.
Este artigo é um guia prático, não teoria. Mostramos-lhe exatamente quais user-agents precisa de conhecer, como os configurar, e partilhamos a nossa própria implementação (app/robots.ts), que usamos nos projetos da WeArkMedia.
Porque é que o robots.txt já não funciona como há cinco anos
O robots.txt existe desde 1994 e sempre fez uma coisa: dizer aos crawlers que caminhos podem ou não visitar. Simples, estático, previsível. O problema é que os pressupostos por trás desse ficheiro deixaram de ser verdadeiros.
Crawlers tradicionais como o Googlebot indexam as suas páginas para as posicionar numa lista de resultados. Em troca, recebe tráfego de cliques. Os crawlers de IA funcionam de forma radicalmente diferente: o GPTBot, o ClaudeBot e o PerplexityBot recolhem conteúdo para o processar em dados de treino ou para gerar respostas em tempo real dentro de uma interface de chat. O utilizador pode até ver o nome da sua marca, mas muitas vezes nunca clica para o site.
Isto muda toda a equação. Se bloquear estes bots, a sua empresa simplesmente não existe na resposta que o utilizador recebe quando pergunta ao ChatGPT ou ao Perplexity por produtos do seu setor. Se os permitir a todos sem pensar, pode estar a entregar toda a sua biblioteca de conteúdo sem qualquer controlo sobre a forma como é utilizada. A estratégia certa está algures no meio, e tem de ser uma escolha consciente — não algo que acontece por acaso porque o robots.txt nunca foi atualizado.
Se quiser perceber como estes crawlers encontram e processam o seu site, este guia GEO sobre como o ChatGPT encontra o seu site é um bom complemento a este artigo.
Os principais crawlers de IA que deve conhecer
Antes de configurar seja o que for, precisa de saber quem passa por lá. Estes são os crawlers que mais importam em 2026.
GPTBot (OpenAI)
O GPTBot é o crawler que a OpenAI usa para recolher conteúdo para treino e para gerar respostas no ChatGPT, incluindo a funcionalidade de navegação. User-agent: GPTBot. A OpenAI publica os intervalos de IP deste crawler, o que facilita a verificação do tráfego nos seus logs.
ClaudeBot (Anthropic)
O ClaudeBot rastreia para os modelos Claude da Anthropic. Existe também uma variante, anthropic-ai, usada especificamente para recolher conteúdo durante interações dos utilizadores (por exemplo, na pesquisa web do Claude). Vale a pena gerir os dois user-agents em separado, porque servem objetivos diferentes.
PerplexityBot
O Perplexity tornou-se uma fonte séria de tráfego de IA, sobretudo porque apresenta respostas com citações diretas — muitas vezes com uma ligação clicável para o seu site. Isto faz do PerplexityBot um dos poucos crawlers de IA em que permitir compensa quase sempre, porque gera tráfego de referência real em vez de apenas extração de conteúdo.
Outros crawlers relevantes
- Google-Extended — define se a Google pode usar o seu conteúdo no Gemini e nos AI Overviews, independentemente da indexação normal do Googlebot.
- CCBot — o crawler da Common Crawl, cujo conjunto de dados é usado por inúmeros laboratórios de IA para treinar modelos.
- Applebot-Extended — controla a utilização do seu conteúdo pelo Apple Intelligence.
- Bytespider — ligado à ByteDance (TikTok), agressivo no comportamento de rastreio e frequentemente motivo de preocupação em termos de carga no servidor.
Cada crawler tem um objetivo diferente e um modelo de negócio diferente por trás. Isso significa que uma regra uniforme de "allow all" ou "disallow all" está quase sempre errada.
Implementação prática: o nosso próprio robots.ts
Nos projetos da WeArkMedia em Next.js, usamos um ficheiro robots.txt gerado dinamicamente através de app/robots.ts, em vez de um ficheiro estático na pasta public. Isso dá-nos flexibilidade para definir regras por crawler e ajustá-las sem forçar um deploy a cada alteração.
import type { MetadataRoute } from 'next'
export default function robots(): MetadataRoute.Robots {
return {
rules: [
{
userAgent: '*',
allow: '/',
disallow: ['/admin/', '/api/', '/_next/'],
},
{
userAgent: 'GPTBot',
allow: '/',
disallow: ['/admin/', '/api/'],
},
{
userAgent: 'ClaudeBot',
allow: '/',
disallow: ['/admin/', '/api/'],
},
{
userAgent: 'PerplexityBot',
allow: '/',
},
{
userAgent: 'Google-Extended',
allow: '/',
},
{
userAgent: 'Bytespider',
disallow: '/',
},
{
userAgent: 'CCBot',
disallow: '/',
},
],
sitemap: 'https://wearkmedia.com/sitemap.xml',
}
}
Porque é que fizemos estas escolhas
Permitimos deliberadamente o GPTBot, o ClaudeBot e o PerplexityBot em todo o conteúdo público, porque os nossos clientes querem precisamente ser visíveis nas respostas de IA — é o cerne do trabalho de GEO/AEO. Bloqueamos o Bytespider por predefinição, porque é conhecido pelo comportamento agressivo de rastreio sem valor claro para a maioria das empresas europeias. Muitas vezes também bloqueamos o CCBot, a menos que o cliente queira contribuir especificamente para conjuntos de dados de treino abertos, porque não é claro que modelo acaba por beneficiar desses dados e não há qualquer atribuição de volta.
Detalhe importante: o robots.txt é um pedido, não uma fechadura na porta. Os crawlers sérios como o GPTBot e o ClaudeBot respeitam normalmente as regras, mas também existem scrapers menos escrupulosos que falsificam o user-agent ou ignoram o ficheiro. Para proteger realmente conteúdo sensível, precisa de limitação de taxa do lado do servidor ou de um WAF — o robots.txt só regula o comportamento dos bots que se identificam corretamente.
Estratégia: quando bloquear faz sentido
Nem todas as situações pedem abertura total. Há três cenários em que bloquear crawlers de IA é a melhor escolha.
Conteúdo atrás de paywall ou login
Se tem conteúdo premium, material de formação ou áreas de cliente, não quer que o GPTBot o leve sem que ninguém pague por ele. Bloqueie esses caminhos especificamente nas regras disallow de cada crawler, em vez de fechar o domínio inteiro.
Sites que vivem exclusivamente de receita publicitária
Para editores e sites de conteúdo que dependem de visualizações de página e impressões de anúncios, a fuga de conteúdo para respostas de IA pode custar receita diretamente. Aqui é preciso pesar conscientemente a visibilidade nas respostas de IA contra o rendimento direto dos visitantes.
Carga no servidor em alojamentos mais pequenos
Alguns crawlers de IA, sobretudo os menos conhecidos, rastreiam de forma ineficiente e podem sobrecarregar ambientes de alojamento partilhado. Se notar que os custos do servidor sobem por tráfego de bots sem benefícios claros em troca, o bloqueio seletivo é uma escolha legítima.
Para a maioria das PME e empresas de serviços, porém, aplica-se o contrário: permitir o acesso é a norma, porque a visibilidade nas respostas de IA é exatamente o objetivo das modernas estratégias de AEO. Um robots.txt fechado a sete chaves é, então, um tiro no pé para a sua visibilidade, por muito bom que seja o conteúdo.