AI Crawler Checker
Vul je URL in. We lezen je robots.txt en llms.txt en laten per AI-crawler zien of hij toegang heeft.
Waarom AI-crawlers ertoe doen
ChatGPT, Perplexity en Google AI Overviews kunnen je alleen citeren als hun crawlers je pagina's mogen lezen. Veel sites blokkeren ze onbewust: een oude beveiligingsplugin, een CDN-instelling of een regel die ooit tegen 'scrapers' is toegevoegd.
Training versus zoeken
Niet elke crawler doet hetzelfde. GPTBot en Google-Extended verzamelen data voor training; OAI-SearchBot, PerplexityBot en Claude-SearchBot halen pagina's op om vragen live te beantwoorden. Wie alleen de zoekcrawlers toelaat, blijft citeerbaar zonder bij te dragen aan training.
Hoe je een crawler toelaat
Voeg in robots.txt een blok toe met 'User-agent:' gevolgd door de naam van de crawler en 'Allow: /'. Controleer daarna ook je firewall of CDN: Cloudflare blokkeert AI-bots sinds 2025 standaard op nieuwe domeinen.
Wat is llms.txt?
llms.txt is een eenvoudig tekstbestand in de root van je site dat taalmodellen uitlegt wat je doet en welke pagina's het belangrijkst zijn. Het is geen officiële standaard, maar het is snel gemaakt en helpt AI-systemen je site sneller te begrijpen.
Veelgestelde vragen
Dit elke dag automatisch?
De Autopilot regelt de GEO-laag voor elk nieuw artikel dat hij publiceert.
Vraag vroege toegang aan