Geçen ay bir e-ticaret müşterimizin sunucu kayıtlarını incelerken çarpıcı bir tabloyla karşılaştım: GPTBot ayda 40.000 istek atıyordu, ClaudeBot 12.000'deydi ve PerplexityBot birkaç dakikada bir uğruyordu. Bu tarayıcıların hiçbiri robots.txt dosyasında tanımlı değildi. Şirket bu botların varlığından bile haberdar değildi — bırakın onları yönetmeyi. Çoğu işletmenin bugün yaşadığı sorun tam olarak bu: robots.txt dosyanız büyük olasılıkla hâlâ Googlebot ve Bingbot için yazılmış durumda, oysa ChatGPT, Claude ve Perplexity için sitenizi indeksleyen yepyeni bir tarayıcı ordusu var.
Bu makale teori değil, uygulamalı bir rehber. Hangi user-agent'ları bilmeniz gerektiğini, bunları nasıl yapılandıracağınızı ve WeArkMedia projelerinde kullandığımız kendi uygulamamızı (app/robots.ts) adım adım göstereceğiz.
Robots.txt neden beş yıl öncesine göre farklı çalışıyor
Robots.txt 1994'ten beri var ve hep tek bir iş yaptı: tarayıcılara hangi yollara girip giremeyeceklerini söylemek. Basit, statik, öngörülebilir. Sorun şu ki bu dosyanın arkasındaki varsayımlar artık geçerli değil.
Googlebot gibi geleneksel tarayıcılar sayfalarınızı, sonuç listesinde sıralamak için indeksler. Karşılığında siz tıklama trafiği alırsınız. AI tarayıcıları ise temelden farklı çalışır: GPTBot, ClaudeBot ve PerplexityBot içeriği eğitim verisine dönüştürmek ya da bir sohbet arayüzünde gerçek zamanlı yanıt üretmek için çeker. Kullanıcı markanızın adını görebilir ama sitenize hiç uğramayabilir.
Bu, denklemi tamamen değiştiriyor. Bu botları engellerseniz, bir kullanıcı ChatGPT veya Perplexity'ye sektörünüzdeki ürünleri sorduğunda işletmeniz yanıtın içinde hiç var olmaz. Hepsine düşünmeden izin verirseniz, tüm içerik kütüphanenizi nasıl kullanılacağı üzerinde hiçbir kontrolünüz olmadan vermiş olursunuz. Doğru strateji ikisinin ortasında bir yerde ve bunu bilinçli olarak seçmeniz gerekir — robots.txt hiç güncellenmediği için tesadüfen ortaya çıkmamalı.
Bu tarayıcıların sitenizi tam olarak nasıl bulduğunu ve işlediğini anlamak isterseniz, ChatGPT'nin web sitenizi nasıl bulduğuna dair bu GEO rehberi bu makaleyi iyi tamamlar.
Bilmeniz gereken en önemli AI tarayıcıları
Ayar yapmadan önce kapınıza kimin geldiğini bilmeniz gerekir. 2026'da en çok önem taşıyan tarayıcılar şunlar.
GPTBot (OpenAI)
GPTBot, OpenAI'nin eğitim verisi toplamak ve ChatGPT içinde — tarama işlevi dahil — yanıt üretmek için kullandığı tarayıcıdır. User-agent dizesi: GPTBot. OpenAI bu tarayıcının IP aralıklarını yayımlıyor; bu da kayıtlarınızda trafiği doğrulamayı kolaylaştırıyor.
ClaudeBot (Anthropic)
ClaudeBot, Anthropic'in Claude modelleri için tarama yapar. Kullanıcı etkileşimleri sırasında (Claude'un web araması gibi) içerik çekmek için kullanılan anthropic-ai adlı bir varyantı da vardır. İkisi farklı amaçlara hizmet ettiği için ayrı ayrı yönetilmeleri mantıklı.
PerplexityBot
Perplexity artık ciddi bir AI trafiği kaynağı; özellikle yanıtları doğrudan kaynak göstererek verdiği için — çoğu zaman sitenize tıklanabilir bir bağlantıyla. Bu, PerplexityBot'u izin vermenin neredeyse her zaman kazandırdığı ender AI tarayıcılarından biri yapıyor; çünkü yalnızca içerik çekmiyor, gerçek yönlendirme trafiği getiriyor.
Diğer ilgili tarayıcılar
- Google-Extended — Google'ın içeriğinizi Gemini ve AI Overviews için kullanıp kullanamayacağını belirler; normal Googlebot indekslemesinden bağımsızdır.
- CCBot — Common Crawl'ın tarayıcısı. Veri kümesi sayısız AI laboratuvarı tarafından model eğitiminde kullanılıyor.
- Applebot-Extended — içeriğinizin Apple Intelligence için kullanımını düzenler.
- Bytespider — ByteDance (TikTok) ile bağlantılı; tarama davranışı agresif ve çoğu zaman sunucu yükü açısından endişe kaynağı.
Her tarayıcının arkasında farklı bir amaç ve farklı bir iş modeli var. Bu da tek tip bir "hepsine izin ver" ya da "hepsini engelle" kuralının neredeyse her zaman yanlış olduğu anlamına gelir.
Uygulama: kendi robots.ts dosyamız
WeArkMedia'da Next.js projelerinde public klasöründeki statik dosya yerine app/robots.ts üzerinden dinamik olarak üretilen bir robots.txt kullanıyoruz. Bu bize kuralları tarayıcı bazında tanımlama ve her değişiklik için deploy tetiklemek zorunda kalmadan güncelleme esnekliği veriyor.
import type { MetadataRoute } from 'next'
export default function robots(): MetadataRoute.Robots {
return {
rules: [
{
userAgent: '*',
allow: '/',
disallow: ['/admin/', '/api/', '/_next/'],
},
{
userAgent: 'GPTBot',
allow: '/',
disallow: ['/admin/', '/api/'],
},
{
userAgent: 'ClaudeBot',
allow: '/',
disallow: ['/admin/', '/api/'],
},
{
userAgent: 'PerplexityBot',
allow: '/',
},
{
userAgent: 'Google-Extended',
allow: '/',
},
{
userAgent: 'Bytespider',
disallow: '/',
},
{
userAgent: 'CCBot',
disallow: '/',
},
],
sitemap: 'https://wearkmedia.com/sitemap.xml',
}
}
Bu tercihlerin nedeni
GPTBot, ClaudeBot ve PerplexityBot'a tüm herkese açık içerikte bilinçli olarak izin veriyoruz; çünkü müşterilerimiz tam olarak AI yanıtlarında görünmek istiyor — GEO/AEO çalışmasının özü bu. Bytespider'ı varsayılan olarak engelliyoruz, çünkü bu tarayıcı agresif tarama davranışıyla tanınıyor ve çoğu işletme için ölçülebilir bir değer üretmiyor. CCBot'u da sık sık engelliyoruz; müşteri açık eğitim veri kümelerine özellikle katkıda bulunmak istemediği sürece bu böyle, çünkü bu veriden hangi modelin kazanç sağlayacağı belirsiz ve geri dönen doğrudan bir atıf yok.
Önemli bir ayrıntı: robots.txt bir rica, kapıya takılmış kilit değil. GPTBot ve ClaudeBot gibi ciddi tarayıcılar kurallara genellikle uyar, ancak user-agent'ını taklit eden ya da dosyayı hiç okumayan daha az özenli kazıyıcılar da var. Hassas içeriği gerçekten korumak için sunucu tarafında hız sınırlama (rate limiting) veya bir WAF gerekir — robots.txt yalnızca kendini düzgün tanıtan botların davranışını düzenler.
Strateji: engellemenin gerçekten mantıklı olduğu durumlar
Her durum tam açıklık gerektirmez. AI tarayıcılarını engellemenin daha doğru olduğu üç senaryo var.
Ödeme duvarı veya giriş arkasındaki içerik
Premium içerik, kurs materyali ya da müşteri portallarınız varsa GPTBot'un bunları hiçbir müşterinin ödemediği şekilde almasını istemezsiniz. Tüm alan adını kapatmak yerine bu yolları tarayıcı bazındaki disallow kurallarında ayrı ayrı belirtin.
Yalnızca reklam geliriyle dönen siteler
Sayfa görüntüleme ve reklam gösterimleriyle yaşayan yayıncılar ve içerik siteleri için içeriğin AI yanıtlarına akması doğrudan gelir kaybı yaratabilir. Burada AI yanıtlarındaki görünürlük ile ziyaretçiden gelen doğrudan gelir arasında bilinçli bir denge kurmak gerekir.
Küçük hosting paketlerinde sunucu yükü
Bazı AI tarayıcıları — özellikle daha az bilinenler — verimsiz tarama yapar ve paylaşımlı hosting ortamlarını zorlayabilir. Bot trafiği yüzünden sunucu maliyetleriniz artıyor ve karşılığında net bir fayda görmüyorsanız, seçici engelleme meşru bir tercihtir.
Ancak çoğu KOBİ ve hizmet işletmesi için geçerli olan bunun tersi: izin vermek standarttır, çünkü AI yanıtlarında görünürlük tam da modern AEO stratejilerinin amacıdır. Böyle bir durumda sıkı sıkıya kapatılmış bir robots.txt, içeriğiniz ne kadar iyi olursa olsun görünürlüğünüzü kendi elinizle baltalamak demektir.