El mes pasado analicé los logs del servidor de un cliente de comercio electrónico y vi algo llamativo: GPTBot hacía 40.000 peticiones al mes, ClaudeBot estaba en 12.000 y PerplexityBot se pasaba cada pocos minutos. Ninguno de esos crawlers aparecía en su robots.txt. Ni siquiera sabían que existían, mucho menos que estaban rastreando su web. Ese es el problema con el que se topan ahora la mayoría de las empresas: tu robots.txt probablemente siga escrito para Googlebot y Bingbot, mientras un ejército completamente nuevo de crawlers indexa tu sitio para ChatGPT, Claude y Perplexity.
Este artículo es una guía práctica, no teoría. Te mostramos exactamente qué user-agents tienes que conocer, cómo configurarlos y compartimos nuestra propia implementación (app/robots.ts), la que usamos en los proyectos de WeArkMedia.
Por qué robots.txt funciona hoy de forma distinta a hace cinco años
Robots.txt existe desde 1994 y siempre ha hecho una sola cosa: decir a los crawlers qué rutas pueden visitar y cuáles no. Simple, estático, predecible. El problema es que las suposiciones que hay detrás de ese archivo ya no se sostienen.
Los crawlers tradicionales como Googlebot indexan tus páginas para posicionarlas en una lista de resultados. A cambio, tú recibes tráfico con clics. Los crawlers de IA funcionan de una forma radicalmente distinta: GPTBot, ClaudeBot y PerplexityBot recogen contenido para procesarlo en datos de entrenamiento o para generar respuestas en tiempo real dentro de una interfaz de chat. Puede que el usuario vea el nombre de tu marca, pero muchas veces nunca llega a hacer clic en tu web.
Eso cambia por completo el planteamiento. Si bloqueas a estos bots, tu empresa sencillamente no existe en la respuesta que recibe un usuario cuando le pregunta a ChatGPT o a Perplexity por productos de tu sector. Si los permites todos sin pensar, puede que estés regalando toda tu biblioteca de contenidos sin ningún control sobre cómo se usa. La estrategia correcta está en un punto intermedio, y tiene que ser una decisión consciente: no algo que ocurra por accidente porque nunca has actualizado tu robots.txt.
Si quieres entender cómo encuentran y procesan estos crawlers tu web, esta guía GEO sobre cómo encuentra ChatGPT tu sitio web es un buen complemento a este artículo.
Los crawlers de IA que debes conocer
Antes de configurar nada, tienes que saber quién pasa por tu web. Estos son los crawlers que más importan en 2026.
GPTBot (OpenAI)
GPTBot es el crawler que OpenAI utiliza para recopilar contenido destinado al entrenamiento y a la generación de respuestas en ChatGPT, incluida la funcionalidad de navegación. Cadena de user-agent: GPTBot. OpenAI publica los rangos de IP de este crawler, lo que facilita verificar su tráfico en tus logs.
ClaudeBot (Anthropic)
ClaudeBot rastrea para los modelos Claude de Anthropic. También existe una variante, anthropic-ai, que se usa específicamente para recuperar contenido durante las interacciones del usuario (piensa en la búsqueda web de Claude). Conviene gestionar ambos user-agents por separado, porque cumplen funciones distintas.
PerplexityBot
Perplexity se ha convertido ya en una fuente seria de tráfico de IA, sobre todo porque da respuestas con citas directas a las fuentes, a menudo con un enlace clicable a tu web. Eso hace que PerplexityBot sea uno de los pocos crawlers de IA en los que permitir el acceso casi siempre compensa, porque genera tráfico de referencia real en lugar de limitarse a extraer contenido.
Otros crawlers relevantes
- Google-Extended — determina si Google puede usar tu contenido para Gemini y AI Overviews, al margen de la indexación normal de Googlebot.
- CCBot — el crawler de Common Crawl, cuyo dataset usan innumerables laboratorios de IA para entrenar modelos.
- Applebot-Extended — regula el uso de tu contenido para Apple Intelligence.
- Bytespider — vinculado a ByteDance (TikTok), agresivo en su comportamiento de rastreo y a menudo motivo de preocupación por la carga que genera en el servidor.
Cada crawler tiene un objetivo y un modelo de negocio distinto detrás. Por eso una regla uniforme de «permitir todo» o «bloquear todo» casi siempre está mal planteada.
Implementación práctica: nuestro propio robots.ts
En los proyectos de WeArkMedia con Next.js usamos un archivo robots.txt generado de forma dinámica mediante app/robots.ts, en lugar de un archivo estático en la carpeta public. Así tenemos la flexibilidad de definir y ajustar reglas por crawler sin tener que forzar un despliegue cada vez que hacemos un cambio.
import type { MetadataRoute } from 'next'
export default function robots(): MetadataRoute.Robots {
return {
rules: [
{
userAgent: '*',
allow: '/',
disallow: ['/admin/', '/api/', '/_next/'],
},
{
userAgent: 'GPTBot',
allow: '/',
disallow: ['/admin/', '/api/'],
},
{
userAgent: 'ClaudeBot',
allow: '/',
disallow: ['/admin/', '/api/'],
},
{
userAgent: 'PerplexityBot',
allow: '/',
},
{
userAgent: 'Google-Extended',
allow: '/',
},
{
userAgent: 'Bytespider',
disallow: '/',
},
{
userAgent: 'CCBot',
disallow: '/',
},
],
sitemap: 'https://wearkmedia.com/sitemap.xml',
}
}
Por qué hemos tomado estas decisiones
Permitimos a propósito GPTBot, ClaudeBot y PerplexityBot en todo el contenido público, porque nuestros clientes precisamente quieren aparecer en las respuestas de IA: es el núcleo del trabajo de GEO/AEO. Bloqueamos Bytespider por defecto, porque es un crawler conocido por su comportamiento agresivo y sin un valor claro para la mayoría de las empresas occidentales. CCBot también lo bloqueamos a menudo, salvo que el cliente quiera contribuir específicamente a datasets de entrenamiento abiertos, ya que no está claro qué modelo acaba beneficiándose de esos datos y no hay atribución directa a cambio.
Un detalle importante: robots.txt es una petición, no un candado. Los crawlers serios como GPTBot y ClaudeBot suelen respetar las reglas, pero también existen scrapers menos escrupulosos que falsean el user-agent o ignoran el archivo. Para proteger de verdad contenido sensible necesitas limitación de tasa en el servidor o un WAF; robots.txt solo regula el comportamiento de los bots que se identifican correctamente.
Estrategia: cuándo sí tiene sentido bloquear
No todas las situaciones piden una apertura total. Hay tres escenarios en los que bloquear crawlers de IA es la mejor opción.
Contenido detrás de un muro de pago o un login
Si tienes contenido premium, material de cursos o portales de clientes, no querrás que GPTBot se lo lleve sin que nadie llegue a pagar por ello. Bloquea esas rutas concretas en las reglas disallow de cada crawler, en lugar de cerrar todo tu dominio.
Sitios que viven exclusivamente de ingresos publicitarios
Para medios y sitios de contenido que viven de las páginas vistas y las impresiones publicitarias, la filtración de contenido hacia respuestas de IA puede costar facturación directa. Aquí toca hacer un análisis consciente entre visibilidad en respuestas de IA e ingresos directos por visitas.
Carga del servidor en planes de hosting pequeños
Algunos crawlers de IA, sobre todo los menos conocidos, rastrean de forma ineficiente y pueden cargar mucho los entornos de hosting compartido. Si notas que los costes del servidor suben por tráfico de bots sin ventajas claras a cambio, bloquear de forma selectiva es una opción legítima.
Sin embargo, para la mayoría de las pymes y empresas de servicios ocurre lo contrario: permitir el acceso es la norma, porque la visibilidad en respuestas de IA es justo el objetivo de las estrategias AEO modernas. Un robots.txt blindado es entonces un tiro en el pie para tu visibilidad, por muy bueno que sea tu contenido.