Le mois dernier, j'ai analysé les logs serveur d'un client e-commerce et j'ai remarqué quelque chose d'étonnant : GPTBot effectuait 40 000 requêtes par mois, ClaudeBot en totalisait 12 000, et PerplexityBot passait toutes les quelques minutes. Aucun de ces crawlers n'était mentionné dans leur robots.txt. Ils ignoraient même l'existence de ces bots — et encore plus qu'ils pouvaient agir dessus. C'est le problème auquel la plupart des entreprises sont aujourd'hui confrontées : votre robots.txt a probablement encore été écrit pour Googlebot et Bingbot, alors qu'une toute nouvelle armée de crawlers indexe votre site pour ChatGPT, Claude et Perplexity.
Cet article est un guide pratique, pas de la théorie. Nous vous montrons exactement quels user-agents connaître, comment les configurer, et nous partageons notre propre implémentation (app/robots.ts) que nous utilisons dans les projets WeArkMedia.
Pourquoi le robots.txt ne fonctionne plus comme il y a cinq ans
Le robots.txt existe depuis 1994 et a toujours fait une seule chose : indiquer aux crawlers quels chemins visiter ou non. Simple, statique, prévisible. Le problème, c'est que les hypothèses derrière ce fichier ne tiennent plus.
Les crawlers traditionnels comme Googlebot indexent vos pages pour les classer dans une liste de résultats. En échange, vous récupérez du trafic sous forme de clics. Les crawlers IA fonctionnent de manière fondamentalement différente : GPTBot, ClaudeBot et PerplexityBot récupèrent du contenu pour le traiter dans des données d'entraînement ou pour générer des réponses en temps réel dans une interface de chat. L'utilisateur verra peut-être votre marque, mais ne cliquera souvent jamais vers votre site.
Cela change complètement l'arbitrage. Si vous bloquez ces bots, votre entreprise n'existe tout simplement pas dans la réponse qu'un utilisateur obtient lorsqu'il demande à ChatGPT ou Perplexity des produits de votre secteur. Si vous les autorisez tous sans réfléchir, vous cédez potentiellement toute votre bibliothèque de contenus sans aucun contrôle sur l'usage qui en est fait. La bonne stratégie se situe entre les deux, et c'est à vous de la choisir consciemment — pas de la laisser se faire par accident parce que votre robots.txt n'a jamais été mis à jour.
Pour comprendre comment ces crawlers trouvent et traitent précisément votre site, ce guide GEO sur la façon dont ChatGPT trouve votre site web est un bon complément à cet article.
Les principaux crawlers IA à connaître
Avant de configurer quoi que ce soit, vous devez savoir qui vient exactement vous rendre visite. Voici les crawlers qui comptent le plus en 2026.
GPTBot (OpenAI)
GPTBot est le crawler qu'OpenAI utilise pour collecter du contenu destiné à l'entraînement et à la génération de réponses dans ChatGPT, y compris la fonctionnalité de navigation. Chaîne user-agent : GPTBot. OpenAI publie les plages d'IP de ce crawler, ce qui facilite la vérification du trafic dans vos logs.
ClaudeBot (Anthropic)
ClaudeBot explore le web pour les modèles Claude d'Anthropic. Il existe également une variante, anthropic-ai, utilisée spécifiquement pour la récupération de contenu lors des interactions utilisateurs (pensez à la recherche web de Claude). Les deux user-agents méritent une gestion distincte, car ils répondent à des objectifs différents.
PerplexityBot
Perplexity est devenu une source sérieuse de trafic IA, notamment parce qu'il fournit des réponses avec des sources citées directement — souvent avec un lien cliquable vers votre site. Cela fait de PerplexityBot l'un des rares crawlers IA qu'il est presque toujours rentable d'autoriser, car il génère réellement du trafic de référence plutôt qu'une simple extraction de contenu.
Autres crawlers pertinents
- Google-Extended — détermine si Google peut utiliser votre contenu pour Gemini et les AI Overviews, indépendamment de l'indexation classique par Googlebot.
- CCBot — le crawler de Common Crawl, dont le jeu de données est utilisé par d'innombrables laboratoires d'IA pour entraîner leurs modèles.
- Applebot-Extended — régit l'utilisation de votre contenu pour Apple Intelligence.
- Bytespider — lié à ByteDance (TikTok), agressif dans son comportement de crawl et souvent source d'inquiétude concernant la charge serveur.
Chaque crawler a un objectif et un modèle économique différents derrière lui. Une règle uniforme « tout autoriser » ou « tout bloquer » est donc presque toujours une erreur.
Implémentation pratique : notre propre robots.ts
Dans les projets WeArkMedia sous Next.js, nous utilisons un fichier robots.txt généré dynamiquement via app/robots.ts, plutôt qu'un fichier statique dans le dossier public. Cela nous offre la flexibilité de définir et d'ajuster les règles par crawler sans imposer un déploiement à chaque modification.
import type { MetadataRoute } from 'next'
export default function robots(): MetadataRoute.Robots {
return {
rules: [
{
userAgent: '*',
allow: '/',
disallow: ['/admin/', '/api/', '/_next/'],
},
{
userAgent: 'GPTBot',
allow: '/',
disallow: ['/admin/', '/api/'],
},
{
userAgent: 'ClaudeBot',
allow: '/',
disallow: ['/admin/', '/api/'],
},
{
userAgent: 'PerplexityBot',
allow: '/',
},
{
userAgent: 'Google-Extended',
allow: '/',
},
{
userAgent: 'Bytespider',
disallow: '/',
},
{
userAgent: 'CCBot',
disallow: '/',
},
],
sitemap: 'https://wearkmedia.com/sitemap.xml',
}
}
Pourquoi ces choix
Nous autorisons délibérément GPTBot, ClaudeBot et PerplexityBot sur tout le contenu public, parce que nos clients veulent précisément être visibles dans les réponses IA — c'est le cœur du travail GEO/AEO. Nous bloquons Bytespider par défaut, car ce crawler est connu pour son comportement agressif sans valeur claire pour la plupart des entreprises occidentales. Nous bloquons souvent CCBot également, sauf si un client souhaite spécifiquement contribuer à des jeux de données d'entraînement ouverts, car on ne sait pas quel modèle profitera in fine de ces données et aucun retour d'attribution direct n'existe.
Détail important : le robots.txt est une requête, pas une porte verrouillée. Les crawlers sérieux comme GPTBot et ClaudeBot respectent généralement les règles, mais il existe aussi des scrapers moins scrupuleux qui usurpent le user-agent ou ignorent le fichier. Pour une véritable protection des contenus sensibles, vous avez besoin d'un rate limiting côté serveur ou d'un WAF — le robots.txt ne régit que le comportement des bots qui s'identifient correctement.
Stratégie : quand bloquer a vraiment du sens
Toutes les situations ne nécessitent pas une ouverture totale. Trois scénarios dans lesquels bloquer les crawlers IA est le meilleur choix.
Contenu derrière un paywall ou une connexion
Si vous avez du contenu premium, du matériel de formation ou des portails clients, vous ne voulez pas que GPTBot les récupère sans qu'un client ne paie jamais. Bloquez ces chemins spécifiquement dans les règles disallow par crawler, plutôt que de fermer tout votre domaine.
Sites qui reposent uniquement sur les revenus publicitaires
Pour les éditeurs et les sites de contenu qui vivent des pages vues et des impressions publicitaires, la fuite de contenu vers les réponses IA peut coûter directement du chiffre d'affaires. Ici, un arbitrage conscient s'impose entre visibilité dans les réponses IA et revenus directs des visiteurs.
Charge serveur sur des hébergements plus modestes
Certains crawlers IA, surtout les moins connus, explorent de manière inefficace et peuvent lourdement solliciter des environnements d'hébergement mutualisé. Si vous constatez que vos coûts serveur augmentent à cause du trafic de bots sans bénéfices clairs en retour, un blocage sélectif est un choix légitime.
Pour la plupart des PME et des prestataires de services, c'est cependant l'inverse qui s'applique : autoriser l'accès est la norme, car la visibilité dans les réponses IA est précisément l'objectif des stratégies AEO modernes. Un robots.txt verrouillé de toutes parts est alors un suicide pour votre visibilité, aussi bon que soit votre contenu.