robots.txt 2026: Tek Bir Disallow Satırı Yetmiyor

2026'da 10'dan fazla AI botu aynı robots.txt dosyasını okuyor ama farklı işler için çalışıyor. Doğru politika tek satırlık engelleme değil; eğitim, arama ve kullanıcı tetikli alım için ayrı kararlar.

2026'da bir robots.txt dosyası 10'dan fazla farklı AI botunu yönetiyor ve tek bir Disallow satırı bunların hepsini engellemez — çünkü her bot farklı bir iş için var: model eğitimi, arama indeksleme veya kullanıcı tetiklemeli sayfa çekme. GPTBot'u engellemek OAI-SearchBot'u durdurmaz; Claude-SearchBot'u engellemek de ClaudeBot eğitim taramasını etkilemez. Doğru yaklaşım, niyetinize göre bot-bazlı bir politika yazmak; bu yazı 10 botu kategorize ediyor, robots.txt'in nasıl yorumlandığını özetliyor ve üç hazır şablon veriyor.

2026'nın AI Tarayıcı Manzarası: Sitenizi Kim Ziyaret Ediyor

Şu anda dört büyük AI sağlayıcısı — OpenAI, Anthropic, Perplexity ve Google — toplamda 10'dan fazla farklı user-agent ile web sitelerini ziyaret ediyor. Hepsi aynı robots.txt dosyasını okur ama birbirinden bağımsız çalışır.

Bu botlar üç işleve ayrılır:

Eğitim tarayıcıları — model eğitimi için içerik toplar. Örnek: GPTBot, ClaudeBot.
Arama indeksleme tarayıcıları — yanıt motorlarının alıntı yüzeyi için içeriği indeksler. Örnek: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
Kullanıcı tetiklemeli alıcılar — bir kullanıcı sohbet ekranında URL paylaştığında sayfayı çeker. Örnek: ChatGPT-User, Claude-User, Perplexity-User.

En sık yapılan hata şu: "GPTBot'u engelledim, ChatGPT artık beni göremez." Yanlış. GPTBot eğitim için; OAI-SearchBot ChatGPT'nin arama sonuçları için; ChatGPT-User da kullanıcı linklerini açma için ayrı user-agent'lar. Birini engellemek diğerini etkilemez.

Google'da işler biraz daha farklı: Google-Extended bir bot değil, robots.txt token'ı. Googlebot'un ziyaret davranışını değiştirmez ama o içeriğin Gemini ve diğer üretken modellerin eğitiminde kullanılmasını engeller. Yani Search indeksinde kalır, eğitim setinden çıkarsınız.

robots.txt Direktifleri Nasıl Yorumlanıyor (RFC 9309 özet)

Robots Exclusion Protocol 2022'de RFC 9309 olarak standartlaştırıldı. Daha önce yıllardır bir konvansiyon olan robots.txt, artık dört büyük AI sağlayıcısının da resmen uyduğunu açıkladığı bir IETF standardı.

Pratikte bilmeniz gereken kurallar:

User-agent eşleştirme büyük/küçük harf duyarsızdır ve token üzerinden substring eşleşmesi yapar.
Path öncelik kuralı: En uzun-eşleşen path kazanır. Disallow: /admin/ ile Allow: /admin/public/ birlikte yazılırsa, /admin/public/ istekleri izin verilir.
Spesifik grup, * grubunu ezer. User-agent: GPTBot bloğunda kural varsa, User-agent: * bloğundaki kurallar GPTBot için uygulanmaz.
Sık görülen hatalar: grupların yanlış sıralanması, Disallow: satırında inline yorum bırakmak, dosyanın sonunda eksik newline ve CDN'in dosyayı yanlış MIME tipiyle servis etmesi.

robots.txt'inizi yayınladıktan sonra curl -A "GPTBot" https://siteniz.com/robots.txt ile kendi tarayıcı kimliğinizi taklit edip dosyayı çekin. Görünen içerik beklediğinizle eşleşmiyorsa CDN cache veya yanlış reverse proxy yönlendirmesi vardır — bunlar bir AI botu için de aynı şekilde yanlış çalışır.

Decoder Tablosu: Hangi Direktif Neyi Engelliyor

Aşağıdaki tablo 10 büyük botun ne işe yaradığını ve engellemenin pratik sonucunu özetliyor:

Bot	Sağlayıcı	İşlev	Engellersem ne kaybederim?
GPTBot	OpenAI	Model eğitimi	OpenAI eğitim setinden çıkarsınız
OAI-SearchBot	OpenAI	ChatGPT Search indeksleme	ChatGPT arama yanıtlarında alıntılanmazsınız
ChatGPT-User	OpenAI	Kullanıcı tetikli fetch	Kullanıcı linki paylaşırsa sayfa çekilmez
ClaudeBot	Anthropic	Genel tarama	Anthropic'in genel veri toplama setinden çıkarsınız
Claude-SearchBot	Anthropic	Claude web arama alıntıları	Claude yanıtlarında alıntılanmazsınız
Claude-User	Anthropic	Kullanıcı tetikli fetch	Kullanıcı linki paylaşırsa sayfa çekilmez
PerplexityBot	Perplexity	İndeksleme	Perplexity yanıtlarında kaynak gösterilmezsiniz
Perplexity-User	Perplexity	Kullanıcı tetikli fetch	Kullanıcı linki paylaşırsa sayfa çekilmez
Google-Extended	Google	Gemini eğitim token'ı	İçeriğiniz Gemini eğitiminde kullanılmaz (Search etkilenmez)
Googlebot	Google	Search indeksleme	Google Search'ten düşersiniz

Bir SaaS dokümantasyon sitesi düşünün: alıntılanmak istiyor ama eğitim verisi olmak istemiyor. Bu durumda GPTBot için Disallow: / koyup OAI-SearchBot için Allow: / bırakır. Sonuç: OpenAI'ın üç ayrı user-agent'ını birbirinden bağımsız kontrol edebilirsiniz. İçerik modeli eğitmek için kullanılmaz ama ChatGPT Search yine de alıntı yapabilir.

Ters yön de geçerli: Claude-SearchBot'u engellerseniz Claude'un yanıt yüzeyinden tamamen çıkarsınız ama ClaudeBot eğitim taraması için içeriğinizi çekmeye devam eder — onu ayrıca engellemeniz gerekir. Perplexity'nin iki botu da aynı mantıkla ayrılır; Google ise tek bir kontrol noktası olarak Google-Extended'i sunar.

Kopyala-Yapıştır Şablonlar: Üç Strateji

Strateji A — Alıntı dostu (arama açık, eğitim kapalı)

Hedef: AI yanıt motorlarında alıntılanmak, ama eğitim verisi olarak kullanılmamak.

# Alıntı dostu politika — 2026
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Allow: /

Strateji B — Seçici (eğitim kapalı, arama + kullanıcı fetch açık)

# Seçici politika
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Perplexity-User
Allow: /

Strateji C — Tam opt-out (hiçbir AI botuna izin yok)

# Tam opt-out
User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Disallow: /

User-agent: Claude-User
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Perplexity-User
Disallow: /

User-agent: Google-Extended
Disallow: /

Not: Strateji C'de Googlebot bilerek dışarıda — onu engellerseniz Google Search'ten de düşersiniz.

Doğrulama: Politikanız Gerçekten Çalışıyor mu

Sunucu loglarında şu user-agent stringlerini izleyin:

GPTBot/1.x — OpenAI eğitim
OAI-SearchBot/1.x — ChatGPT Search
ChatGPT-User/1.x — kullanıcı tetikli
ClaudeBot/1.x — Anthropic genel
Claude-SearchBot/1.x — Claude arama
PerplexityBot — Perplexity indeksleme

Hızlı kontrol listesi:

curl -A "GPTBot" https://siteniz.com/robots.txt ile fetchleyin. Doğru içerik dönüyor mu?
Dosya CRLF değil LF satır sonuyla bitmeli. Bazı CDN'ler CRLF'i bozuk yorumluyor.
Yeni bot duyurulduğunda robots.txt'inizi gözden geçirin. Çeyreklik bir kontrol cadansı pratikte yetiyor.
Bloğun görmezden gelindiğini düşünüyorsanız, önce user-agent stringini sağlayıcının resmi dokümantasyonuyla karakter karakter karşılaştırın. Tek bir tire farkı eşleşmeyi bozar.

Karşılaştırma temiz çıkıyor ama log'lar yine de botu gösteriyorsa, sağlayıcının destek kanalına ulaşın. AI botları artık tek bir alıntı yüzeyi değil; eğitim, arama ve kullanıcı fetch'i için üç ayrı katman var. robots.txt'iniz bu üç katmana ayrı yanıt veriyorsa stratejiniz var; tek bir Disallow: / ile idare ediyorsanız büyük ihtimalle istediğinizden farklı bir sonuç alıyorsunuz. Blog'da AI arama davranışı üzerine başka yazılar da var; alıntı yüzeyinizi izlemek için GEON gibi bir GEO platformu kullanabilirsiniz.