KI-Crawler-Checker
Geben Sie Ihre URL ein. Wir lesen Ihre robots.txt und llms.txt und zeigen für jeden KI-Crawler, ob er Zugriff hat.
Warum KI-Crawler wichtig sind
ChatGPT, Perplexity und Google AI Overviews können Sie nur zitieren, wenn ihre Crawler Ihre Seiten lesen dürfen. Viele Websites blockieren sie unbewusst: ein altes Sicherheits-Plugin, eine CDN-Einstellung oder eine Regel, die einmal gegen „Scraper“ eingefügt wurde.
Training oder Suche
Nicht jeder Crawler hat dieselbe Aufgabe. GPTBot und Google-Extended sammeln Daten für das Training; OAI-SearchBot, PerplexityBot und Claude-SearchBot rufen Seiten ab, um Fragen live zu beantworten. Wer nur die Such-Crawler zulässt, bleibt zitierfähig, ohne zum Training beizutragen.
So erlauben Sie einen Crawler
Ergänzen Sie in der robots.txt einen Block mit „User-agent:“, gefolgt vom Namen des Crawlers, und „Allow: /“. Prüfen Sie anschließend auch Firewall oder CDN: Cloudflare blockiert KI-Bots seit 2025 auf neuen Domains standardmäßig.
Was ist llms.txt?
llms.txt ist eine einfache Textdatei im Stammverzeichnis Ihrer Website, die Sprachmodellen erklärt, was Sie tun und welche Seiten am wichtigsten sind. Sie ist kein offizieller Standard, aber schnell erstellt und hilft KI-Systemen, Ihre Website schneller zu verstehen.
Häufig gestellte Fragen
Das jeden Tag automatisch?
Der Autopilot übernimmt die GEO-Ebene für jeden neuen Artikel, den er veröffentlicht.
Frühen Zugang anfragen