AI Visibility Turkey
EN Talep Edin

Teknik rehber

Yapay Zeka Tarayıcıları ve robots.txt: Hangi Bota İzin Vermeli?

Yapay zeka şirketlerinin her biri birden fazla bot çalıştırır ve bunların bir kısmı cevaplarda görünmenizi, bir kısmı model eğitimini ilgilendirir. robots.txt dosyanızda bu ikisini ayrı ayrı karara bağlamak, yanlışlıkla görünürlüğünüzü kapatmamanın yoludur.

AI Visibility Turkey editorial team Yayın: Son güncelleme: 8 dk okuma
İçindekiler
  1. İki ayrı karar: görünmek ve eğitim
  2. Motor motor botlar
  3. Karar tablosu
  4. Örnek robots.txt
  5. CDN ve güvenlik duvarı notu
  6. robots.txt neyi yapamaz?

Kısaca

  • Cevaplarda görünmek (arama botları) ile model eğitimine izin vermek (eğitim botları) ayrı ayarlardır; ikisini tek kararmış gibi yönetmeyin.
  • Kullanıcı isteğiyle çalışan botlar (ChatGPT-User, Perplexity-User) için robots.txt her zaman uygulanmayabilir; sağlayıcılar bunu belgelerinde belirtiyor.
  • robots.txt değişikliklerinin etkisi OpenAI'a göre yaklaşık 24 saat sürebilir; sunucu veya CDN düzeyindeki engeller ise robots.txt'ten bağımsız çalışır.

İki ayrı karar: görünmek ve eğitim

Eskiden bir site için tek bir soru vardı: Googlebot sitemi tarasın mı? Bugün yapay zeka şirketlerinin her biri farklı amaçlarla birden fazla bot çalıştırıyor. Sağlayıcıların kendi belgelerindeki ortak ayrım şu: bazı botlar bir kullanıcı soru sorduğunda cevapta sitenizi gösterebilmek için sayfa dizinler; bazıları ise modelin kendisini eğitmek için içerik toplar; bazıları da yalnızca bir kullanıcı sizin sayfanızı açmasını istediğinde çalışır.

Bu ayrımı bilmeden yazılmış bir Disallow satırı, istemeden görünürlüğünüzü kapatabilir. Tersine, "hepsine izin verelim" demek de, içeriğinizin model eğitiminde kullanılmasına dair verilmiş bir iş kararı olmaktır. Doğru cevap işletmeye göre değişir: Hasta bilgilendirme içeriği yayımlayan bir hastane, ihracat kataloğu olan bir üretici veya ücretli içerik satan bir yayıncı aynı politikayı seçmeyebilir.

Motor motor botlar

Her sağlayıcının kendi belgesine göre bot grupları. Kaynaklar her kartta bağlantılıdır.

Arama, eğitim ve kullanıcı botu

OpenAI (ChatGPT)

Motorun kendi belgesi

ChatGPT aramasında görünmek istiyorsanız OAI-SearchBot'a izin vermeniz gerekir. OpenAI'a göre bu bota izin vermeyen siteler ChatGPT arama cevaplarında yer almaz (yalnızca gezinme bağlantısı olarak görünebilir).

  • OAI-SearchBot: siteleri ChatGPT aramasında göstermek için kullanılır
  • GPTBot: model eğitimi için kullanılabilir; arama ayarından bağımsızdır
  • ChatGPT-User: kullanıcı tarafından başlatılan ziyaretler; robots.txt uygulanmayabilir

OpenAI, OAI-SearchBot için yayımladığı IP aralıklarına da izin verilmesini öneriyor; değişikliklerin etkisi yaklaşık 24 saat sürer.

Kaynak: OpenAI: Bots ↗

Arama ve kullanıcı botu

Perplexity

Motorun kendi belgesi

Perplexity'nin belgesi bot davranışını açıklıyor, ancak kaynakların nasıl seçildiğini veya sıralandığını açıklamıyor; bu konuda yayımlanmış bir bilgi yok.

  • PerplexityBot: siteleri Perplexity aramasında gösterir ve bağlantı verir; Perplexity temel model eğitimi için kullanılmadığını belirtiyor
  • Perplexity-User: kullanıcı isteğiyle sayfa getirir; genel olarak robots.txt kurallarını dikkate almaz

Kaynak: Perplexity: Bots ↗

Eğitim, arama ve kullanıcı botu

Anthropic (Claude)

Motorun kendi belgesi

Anthropic'e göre son iki botu engellemek, Claude'un arama cevaplarındaki görünürlüğünüzü azaltabilir.

  • ClaudeBot: eğitim verisi toplama
  • Claude-User: bir kullanıcının sorusu gerektirdiğinde sayfa getirir
  • Claude-SearchBot: arama alaka düzeyi için sayfaları dizinler

Anthropic IP adresine göre engellemeyi önermiyor; tarayıcı IP aralıklarını claude.com/crawling/bots.json adresinde yayımlıyor.

Kaynak: Anthropic: Does Anthropic crawl data from the web ↗

Arama ve eğitim izni

Google (Gemini ve yapay zeka özellikleri)

Motorun kendi belgesi

Google-Extended, Googlebot'tan ayrı bir robots.txt belirtecidir. Onu engellemek sayfalarınızın Google Arama sonuçlarındaki yerini değiştirmez.

  • Googlebot: Google Arama dizini; AI Bakışı ve AI Modu için sayfanın dizinde olması gerekir
  • Google-Extended: Gemini eğitimi ve temellendirme için robots.txt belirteci; Arama'ya dahil olmayı etkilemez

Kaynak: Google: Common crawlers ↗

Microsoft Copilot, Grok ve DeepSeek için bu rehberde bot kartı vermiyoruz: Microsoft tarafında Bing Webmaster Tools'un "AI Performance" raporu atıf sayılarını gösteriyor (yalnızca sayı, yerleşim değil), xAI'ın belgesi ise Grok'un web aramasının canlı çalıştığını ve atıfları modelin eklediğini anlatıyor; DeepSeek için kaynak seçimine dair birincil bir belge bulamadık. Belgelenmemiş bir şeyi belgelenmiş gibi anlatmıyoruz.

Karar tablosu: görünmek için ne açık olmalı?

Tabloyu yana kaydırabilirsiniz.

Amaca göre robots.txt kararı
Amacınızİzin vermeniz gereken botEngellerseniz ne olur?
ChatGPT aramasında görünmekOAI-SearchBotOpenAI'a göre ChatGPT arama cevaplarında yer almazsınız (gezinme bağlantısı olarak görünebilirsiniz).
Perplexity cevaplarında görünmekPerplexityBotPerplexity aramasında gösterilme ve bağlantı alma ihtimaliniz düşer.
Claude arama cevaplarında görünmekClaude-SearchBot ve Claude-UserAnthropic'e göre Claude'un arama cevaplarındaki görünürlüğünüz azalabilir.
Google AI Bakışı ve AI Modu'nda görünmekGooglebot (sayfa dizinde ve snippet'e uygun olmalı)Dizinde olmayan sayfa bu özelliklerde destekleyici bağlantı olamaz.
Model eğitimine izin vermekGPTBot, ClaudeBot, Google-ExtendedEğitim izni kapanır; Google-Extended, Arama'ya dahil olmayı etkilemez.

Kaynak: OpenAI, Perplexity, Anthropic ve Google bot belgeleri

Hangi politika kime uygun?

  • Maksimum görünürlük (herkese izin): Hedefi yeni alıcılara ulaşmak olan hizmet sağlayıcılar, ihracatçılar, klinikler ve e-ticaret siteleri için varsayılan tercih. Eğitim izni verdiğiniz anlamına geldiğini bilerek seçin.
  • Arama evet, eğitim hayır: Özgün araştırma, ücretli içerik veya telif hassasiyeti olan yayıncılar için. OAI-SearchBot, PerplexityBot, Claude-SearchBot ve Googlebot açık, GPTBot, ClaudeBot ve Google-Extended kapalı. Bedeli: bu botların eğitim verisinde yer almamanız.
  • Hepsi kapalı: Gizlilik veya lisans gerekçesiyle seçilebilir; ancak yapay zeka cevaplarında görünürlük beklentisini bırakmak anlamına gelir.

Bu üç politika ayrımı bizim yöntemsel çerçevemizdir; sağlayıcı belgelerinde yer alan bir öneri değildir. Seçim iş ve hukuk kararıdır.

Örnek robots.txt

Aşağıdaki dosya, kendi sitemizde kullandığımız politikayı yansıtır: tüm arama ve eğitim botlarına izin verilir. alanadiniz.com kısmını kendi alan adınızla değiştirin.

# Görünürlük odaklı politika: yapay zeka arama botları ve eğitim botları dahil herkese izin
User-agent: *
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Bingbot
Allow: /

Sitemap: https://alanadiniz.com/sitemap.xml

Arama botlarına izin verip eğitim botlarını kapatmak isterseniz örnek bir alternatif:

# Alternatif: arama ve alıntı botlarına izin ver, eğitim izinlerini kapat
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Googlebot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Bu ikinci dosya örnek amaçlıdır; sitenize uygulamadan önce teknik ekibinizle ve gerekirse hukuk danışmanınızla gözden geçirin. Kural yazımında bot adlarının birebir doğru olması gerekir; sağlayıcılar yeni bot ekleyebilir veya adları güncelleyebilir, bu yüzden listeyi periyodik kontrol edin.

CDN ve güvenlik duvarı notu

robots.txt bir izin talebidir; botu fiilen sitenize alıp almayacağına çoğu zaman CDN, WAF veya bot koruma katmanı karar verir. robots.txt'iniz bir bota izin verirken güvenlik duvarınızın aynı botu engellemesi, görünürlük projelerinde sık karşılaşılan sessiz bir hata kaynağıdır.

  • Sunucu veya CDN günlüklerinde OAI-SearchBot, PerplexityBot, ClaudeBot, Claude-SearchBot ve Googlebot isteklerinin başarılı (2xx) döndüğünü kontrol edin.
  • OpenAI, OAI-SearchBot için yayımladığı IP aralıklarına izin verilmesini öneriyor; Anthropic ise IP'ye göre engellemeyi önermiyor. Yani IP kuralı yazmadan önce sağlayıcının kendi belgesini okuyun.
  • Bot koruma ürünlerinin "yapay zeka botlarını engelle" gibi tek tıkla açılan varsayılanları olabilir; politikanız görünürlükse bunları kapatın veya istisna tanımlayın.

Bu kontrol listesi bizim teknik tarama denetimimizin bir parçasıdır; sağlayıcı belgelerinden çıkan mantıksal bir sonuçtur, "şu kadar kayıp yaşarsınız" tarzı bir iddia değildir.

robots.txt neyi yapamaz?

  • Görünmeyi garanti etmez. Bir botun sitenizi taraması, cevapta anılacağınız anlamına gelmez. OpenAI ve Google dahil hiçbir sağlayıcı sıralama veya seçim ölçütlerini tam olarak yayımlamıyor; Perplexity bu konuda açıkça belge sunmuyor.
  • Kullanıcı botlarını durdurmayabilir. OpenAI ChatGPT-User için robots.txt'in uygulanmayabileceğini, Perplexity Perplexity-User'ın genel olarak robots.txt'i yok saydığını belgeliyor.
  • Anında etki etmez. OpenAI'a göre değişiklikler yaklaşık 24 saat içinde yansır.

Kaynak: OpenAI: Bots ↗; Perplexity: Bots ↗; Anthropic: web crawling ↗; Google: Common crawlers ↗

Yapay zeka botları sitenize gerçekten erişebiliyor mu?

Web sitenizi iletin; robots.txt, CDN ve günlük kayıtları düzeyinde erişimi birlikte değerlendirelim.

Yapay Zeka Görünürlük Analizi Talep Edin akin@ecommerce.com