Yapay Zekâ Tarayıcı Kontrolü
URL'nizi girin. robots.txt ve llms.txt dosyalarınızı okuyup her yapay zekâ tarayıcısının erişimi olup olmadığını gösteriyoruz.
Yapay zekâ tarayıcıları neden önemli
ChatGPT, Perplexity ve Google AI Overviews sizi ancak tarayıcıları sayfalarınızı okuyabiliyorsa kaynak gösterebilir. Birçok site onları farkında olmadan engeller: eski bir güvenlik eklentisi, bir CDN ayarı ya da bir zamanlar “scraper”lara karşı eklenmiş bir kural.
Eğitim mi, arama mı
Her tarayıcının görevi aynı değildir. GPTBot ve Google-Extended eğitim için veri toplar; OAI-SearchBot, PerplexityBot ve Claude-SearchBot ise soruları anlık cevaplamak için sayfa çeker. Yalnızca arama tarayıcılarına izin verirseniz, eğitime katkı vermeden kaynak gösterilebilir kalırsınız.
Bir tarayıcıya nasıl izin verilir
robots.txt dosyasına “User-agent:” ve ardından tarayıcının adını, sonra da “Allow: /” satırını içeren bir blok ekleyin. Ardından güvenlik duvarınızı veya CDN'inizi de kontrol edin: Cloudflare, 2025'ten beri yeni alan adlarında yapay zekâ botlarını varsayılan olarak engelliyor.
llms.txt nedir?
llms.txt, sitenizin kök dizininde bulunan ve dil modellerine ne yaptığınızı ve hangi sayfaların en önemli olduğunu anlatan basit bir metin dosyasıdır. Resmî bir standart değildir, ama dakikalar içinde hazırlanır ve yapay zekâ sistemlerinin sitenizi daha hızlı anlamasına yardımcı olur.
Sık sorulan sorular
Bu her gün kendiliğinden yapılsa?
Autopilot, yayınladığı her yeni makalenin GEO katmanını kendisi halleder.
Erken erişim isteyin