Bei der Auswertung der Server-Protokolle eines E-Commerce-Kunden ist uns kürzlich etwas Auffälliges begegnet: GPTBot verzeichnete 40.000 Anfragen pro Monat, ClaudeBot kam auf 12.000, und PerplexityBot schaute alle paar Minuten vorbei. Keiner dieser Crawler war in der robots.txt des Unternehmens genannt. Man wusste dort nicht einmal, dass diese Bots existieren – geschweige denn, dass man sich mit ihnen befassen müsste. Genau hier liegt das Problem, mit dem die meisten Unternehmen derzeit konfrontiert sind: Ihre robots.txt ist wahrscheinlich noch für Googlebot und Bingbot geschrieben, während eine ganz neue Riege von Crawlern Ihre Website für ChatGPT, Claude und Perplexity indexiert.
Dieser Artikel ist eine praktische Anleitung, keine Theorie. Wir zeigen Ihnen genau, welche User-Agents Sie kennen müssen, wie Sie diese konfigurieren, und stellen unsere eigene Umsetzung (app/robots.ts) vor, die wir in WeArkMedia-Projekten einsetzen.
Warum robots.txt heute anders funktioniert als vor fünf Jahren
Robots.txt existiert seit 1994 und erfüllte immer einen einzigen Zweck: Crawlern mitteilen, welche Pfade sie besuchen dürfen und welche nicht. Einfach, statisch, vorhersehbar. Das Problem ist, dass die Annahmen hinter dieser Datei nicht mehr zutreffen.
Traditionelle Crawler wie Googlebot indexieren Ihre Seiten, um sie in einer Ergebnisliste zu platzieren. Im Gegenzug erhalten Sie Klickverkehr. KI-Crawler funktionieren grundlegend anders: GPTBot, ClaudeBot und PerplexityBot rufen Inhalte ab, um sie in Trainingsdaten zu verarbeiten oder um in Echtzeit Antworten innerhalb einer Chat-Oberfläche zu erzeugen. Der Nutzer sieht vielleicht Ihren Markennamen, klickt aber häufig nie auf Ihre Website.
Damit verändert sich die Abwägung vollständig. Blockieren Sie diese Bots, existiert Ihr Unternehmen in der Antwort schlicht nicht, die ein Nutzer erhält, wenn er ChatGPT oder Perplexity nach Produkten in Ihrer Branche fragt. Erlauben Sie allen Bots bedenkenlos den Zugriff, geben Sie möglicherweise Ihre gesamte Content-Bibliothek preis, ohne jede Kontrolle darüber, wie sie verwendet wird. Die richtige Strategie liegt irgendwo dazwischen, und Sie müssen sie bewusst wählen – statt sie dem Zufall zu überlassen, weil Ihre robots.txt nie aktualisiert wurde.
Wenn Sie verstehen möchten, wie diese Crawler Ihre Website genau finden und verarbeiten, ergänzt dieser GEO-Leitfaden dazu, wie ChatGPT Ihre Website findet den vorliegenden Artikel sinnvoll.
Die wichtigsten KI-Crawler, die Sie kennen sollten
Bevor Sie etwas konfigurieren, sollten Sie wissen, wer genau vorbeikommt. Hier sind die Crawler, die im Jahr 2026 am meisten Gewicht haben.
GPTBot (OpenAI)
GPTBot ist der Crawler, den OpenAI einsetzt, um Inhalte für das Training und für die Erzeugung von Antworten in ChatGPT zu sammeln, einschließlich der Browse-Funktion. User-Agent-String: GPTBot. OpenAI veröffentlicht die IP-Bereiche dieses Crawlers, was die Überprüfung des Verkehrs in Ihren Protokollen erleichtert.
ClaudeBot (Anthropic)
ClaudeBot durchsucht das Web für die Claude-Modelle von Anthropic. Es existiert zudem eine Variante, anthropic-ai, die speziell für den Abruf von Inhalten während Nutzerinteraktionen verwendet wird (etwa bei der Websuche von Claude). Beide User-Agents sollten getrennt verwaltet werden, da sie unterschiedlichen Zwecken dienen.
PerplexityBot
Perplexity hat sich inzwischen zu einer ernstzunehmenden Quelle von KI-Verkehr entwickelt, vor allem weil das System Antworten mit direkten Quellenangaben liefert – häufig mit einem anklickbaren Link zu Ihrer Website. Damit ist PerplexityBot einer der wenigen KI-Crawler, bei denen sich eine Freigabe fast immer auszahlt, weil tatsächlich Besucherverkehr über Verweise entsteht und nicht nur eine Inhaltsextraktion.
Weitere relevante Crawler
- Google-Extended – legt fest, ob Google Ihre Inhalte für Gemini und AI Overviews verwenden darf, unabhängig von der regulären Indexierung durch Googlebot.
- CCBot – der Crawler von Common Crawl, dessen Datensatz von zahlreichen KI-Laboren zum Trainieren von Modellen genutzt wird.
- Applebot-Extended – regelt die Verwendung Ihrer Inhalte für Apple Intelligence.
- Bytespider – gehört zu ByteDance (TikTok), verhält sich beim Crawlen aggressiv und ist häufig Anlass zur Sorge hinsichtlich der Serverlast.
Jeder Crawler verfolgt einen anderen Zweck und ein anderes Geschäftsmodell. Das bedeutet: Eine pauschale Regel „allow all“ oder „disallow all“ ist nahezu immer falsch.
Praktische Umsetzung: unsere eigene robots.ts
In WeArkMedia-Projekten mit Next.js verwenden wir eine dynamisch erzeugte robots.txt-Datei über app/robots.ts statt einer statischen Datei im public-Verzeichnis. Das verschafft uns die Flexibilität, Regeln pro Crawler zu definieren und anzupassen, ohne für jede Änderung ein Deployment erzwingen zu müssen.
import type { MetadataRoute } from 'next'
export default function robots(): MetadataRoute.Robots {
return {
rules: [
{
userAgent: '*',
allow: '/',
disallow: ['/admin/', '/api/', '/_next/'],
},
{
userAgent: 'GPTBot',
allow: '/',
disallow: ['/admin/', '/api/'],
},
{
userAgent: 'ClaudeBot',
allow: '/',
disallow: ['/admin/', '/api/'],
},
{
userAgent: 'PerplexityBot',
allow: '/',
},
{
userAgent: 'Google-Extended',
allow: '/',
},
{
userAgent: 'Bytespider',
disallow: '/',
},
{
userAgent: 'CCBot',
disallow: '/',
},
],
sitemap: 'https://wearkmedia.com/sitemap.xml',
}
}
Warum wir diese Entscheidungen treffen
Wir erlauben GPTBot, ClaudeBot und PerplexityBot bewusst den Zugriff auf alle öffentlichen Inhalte, weil unsere Kunden gerade in KI-Antworten sichtbar sein wollen – das ist der Kern der GEO-/AEO-Arbeit. Bytespider blockieren wir standardmäßig, weil dieser Crawler für aggressives Crawling ohne erkennbaren Nutzen für die meisten westeuropäischen Unternehmen bekannt ist. CCBot blockieren wir in der Regel ebenfalls, sofern ein Kunde nicht ausdrücklich zu offenen Trainingsdatensätzen beitragen möchte, da unklar bleibt, welches Modell letztlich von diesen Daten profitiert, und keine direkte Zuordnung zu Ihrer Website erfolgt.
Ein wichtiges Detail: robots.txt ist eine Bitte, kein Schloss vor der Tür. Seriöse Crawler wie GPTBot und ClaudeBot halten sich in der Regel an die Regeln, doch es gibt auch weniger gewissenhafte Scraper, die den User-Agent fälschen oder die Datei ignorieren. Für einen echten Schutz sensibler Inhalte benötigen Sie eine serverseitige Ratenbegrenzung oder eine WAF – robots.txt regelt nur das Verhalten von Bots, die sich ordnungsgemäß zu erkennen geben.
Strategie: Wann eine Sperre tatsächlich sinnvoll ist
Nicht jede Situation erfordert vollständige Offenheit. Es gibt drei Szenarien, in denen das Blockieren von KI-Crawlern die bessere Wahl ist.
Inhalte hinter einer Bezahlschranke oder einem Login
Wenn Sie Premium-Inhalte, Kursmaterialien oder Kundenportale betreiben, möchten Sie nicht, dass GPTBot diese abgreift, ohne dass jemals ein Kunde dafür bezahlt. Blockieren Sie diese Pfade gezielt über die disallow-Regeln pro Crawler, statt Ihre gesamte Domain zu schließen.
Websites, die ausschließlich von Werbeeinnahmen leben
Für Verlage und Content-Websites, die von Seitenaufrufen und Werbeeinblendungen leben, kann das Abfließen von Inhalten in KI-Antworten unmittelbar Umsatz kosten. Hier ist eine bewusste Abwägung zwischen Sichtbarkeit in KI-Antworten und direkten Einnahmen aus Besuchern erforderlich.
Serverlast bei kleineren Hosting-Paketen
Einige KI-Crawler, insbesondere die weniger bekannten, crawlen ineffizient und können gemeinsam genutzte Hosting-Umgebungen stark belasten. Wenn Sie feststellen, dass Ihre Serverkosten durch Bot-Verkehr steigen, ohne dass dem ein klarer Nutzen gegenübersteht, ist eine selektive Sperre eine legitime Wahl.
Für die meisten mittelständischen Unternehmen und Dienstleister gilt jedoch das Gegenteil: Zugriff zu gewähren ist die Norm, weil Sichtbarkeit in KI-Antworten genau das Ziel moderner AEO-Strategien ist. Eine vollständig abgeriegelte robots.txt ist dann ein Schlag gegen Ihre eigene Sichtbarkeit – so gut Ihre Inhalte auch sein mögen.