Yapay zeka botları: hangileri var, nasıl izin verilir?

Hangi botlar var, ne iş yapıyorlar?

Aşağıdaki tablo, görünürlük için önem taşıyan botların güncel listesi — ölçüm aracımızın teknik denetimi de birebir aynı listeyle çalışır. Kritik ayrıntı sahiplerde: OpenAI tek bot değil üç ayrı bot çalıştırır ve üçü farklı iş yapar; Google-Extended ise bot bile değildir — bir kullanım anahtarıdır.

İki ayrıntı sık atlanıyor. OpenAI üçlüsünde işler bölünmüş durumda — eğitim, arama, kullanıcı gezinmesi — ve yalnızca GPTBot'u açıp diğerlerini unutmak, aramada görünmek isteyen site için en pahalı eksik; ayrıntısı ChatGPT sayfasında. Google-Extended'ın bot olmadığı nüansı da önemli: onu “engellenecek tarayıcı” sanıp kapatan, aslında Gemini beslenmesinden çekilmiş oluyor ve bunu fark etmesi çok güç, çünkü arama sıralaması hiç etkilenmez — mekanizması Gemini sayfasında.

CCBot ayrı bir kategori: belirli bir motorun değil, herkese açık bir web arşivinin tarayıcısı. O arşiv birçok modelin eğitim havuzuna giriyor — yani CCBot'a verilen izin, adını hiç duymadığınız modellere de dolaylı kapı açıyor. Genel görünürlük hedefleyen site için bu istenen bir şeydir; içerik kontrolü hassas olan site için bilinçli karar konusudur. Listedeki her botun ayrı bir amacı olması, kararı da bot bazında vermenizi mümkün kılar: hepsini toptan açmak veya kapatmak zorunda değilsiniz. Örneğin eğitime kapalı kalıp aramaya açık olmak isteyen bir site, GPTBot'u dışarıda bırakıp OAI-SearchBot ve arama tarafındaki diğerlerini kabul edebilir; bu ayrım, içerik endişesi ile görünürlük ihtiyacını aynı anda karşılamanın yoludur.

Sitem bunlara açık mı, nasıl kontrol ederim?

Üç katmanlı kontrol gerekir, çünkü engel üç yerde olabilir: robots.txt dosyasında, sunucu veya CDN katmanında ve sayfanın kendisinde. Çoğu kişi yalnızca ilkine bakar; oysa en sinsi engeller çoğu zaman ikinci katmanda, sunucu veya CDN tarafında saklıdır. Aşağıdaki adımlar sırayla uygulanır ve tümü birlikte on dakikadan uzun sürmez.

• robots.txt'i okuyun: alan adınızın sonuna /robots.txt yazın; yukarıdaki botları engelleyen bir Disallow satırı veya “tüm botlara kapalı” genel kuralı var mı bakın
• Genel kuralın kapsamını kontrol edin: User-agent: * altındaki Disallow, açıkça izin vermediğiniz her botu kapsar
• Sunucu loglarına bakın: bot adlarını (GPTBot, ClaudeBot…) loglarda aratın — hiç gelmiyorlarsa ya da her istekte erişim reddi alıyorlarsa engel robots.txt'in dışındadır
• CDN ve güvenlik panelini açın: bot koruması, yapay zeka tarayıcı engelleme veya doğrulama (challenge) ayarlarını kontrol edin — bir sonraki bölümün konusu
• Sayfanın işlenmiş hâline bakın: içerik yalnızca tarayıcıda JavaScript ile kuruluyorsa, bot erişse de boş sayfa okur

Bu kontrolün otomatik hâli ücretsiz raporumuzda var: alan adınızı girin, teknik denetim robots.txt'inizi bu listeyle karşılaştırıp engelli botları tek tek sayar. Ama loglar ve CDN paneli sizin tarafınızda — oraları rapor göremez; bu yüzden aşağıdaki bölüm bu sayfanın en önemli kısmıdır.

Farkında olmadan engelliyor olabilir misiniz?

Evet — ve bu, gördüğümüz en yaygın görünürlük katili. robots.txt tertemizken botlar siteye hiç ulaşamıyor olabilir: Cloudflare'in yapay zeka tarayıcı engelleme ayarı, güvenlik eklentilerinin bot filtreleri ve CDN doğrulama sayfaları, siz açtığınızı sanırken kapıyı sessizce kilitler. Belirtisi yoktur; ancak bakılınca görülür.

• Cloudflare: yapay zeka tarayıcılarını tek tuşla engelleme ayarı sunar ve bazı kurulumlarda varsayılan olarak açık gelir — panelde bot yönetimi bölümünü kontrol edin
• Doğrulama sayfaları (challenge): insan doğrulaması isteyen koruma, botun sayfa yerine doğrulama ekranını okuması demektir — içerik hiç ulaşmaz
• Güvenlik eklentileri: özellikle hazır site altyapılarındaki güvenlik paketleri “şüpheli bot” listelerinde yapay zeka tarayıcılarını da engelleyebilir
• Hız sınırlayıcılar: agresif istek limitleri, art arda sayfa okuyan botu birkaç istekten sonra kesebilir — kısmi erişim de eksik okunma demektir
• Barındırma sağlayıcısının kendi bot filtresi: sizin hiç açmadığınız, sunucu tarafında hazır gelen kurallar olabilir — destek ekibine açıkça sorun

Teşhisin en net yolu loglardır: robots.txt izinliyken loglarda bot adları ya hiç yoksa ya da erişim reddi ile doğrulama ekranı yanıtları görüyorsa, engel bu katmandadır. Müşteri çalışmalarında ilk hafta baktığımız şey tam olarak budur ve çoğu zaman çözüm on dakikalık bir panel ayarıdır — aylarca “neden görünmüyoruz” diye içerik üretmeden önce, kapının açık olduğundan emin olun. Katman önceliğinin en altında bot erişiminin durması bu yüzden: sıranın tamamı başlangıç rehberinde.

En pahalı engel, koyduğunuzu bilmediğiniz engeldir: robots.txt açık, kapı kapalı.

Bu katmanın sinsi olmasının sebebi, koruma amacıyla kurulmuş olması: güvenlik eklentileri ve CDN filtreleri kötü niyetli botları durdurmak için vardır ve işlerini yaparken faydalı yapay zeka tarayıcılarını da aynı torbaya koyabilirler. Yani hatanın kaynağı çoğu zaman bir ihmal değil, fazla geniş ayarlanmış bir korumadır. Çözüm de korumayı kaldırmak değil, istisna tanımlamaktır: kural tanımaz botları filtrelerken, tabloda adı geçen uyumlu botları beyaz listeye almak.

Nasıl izin veririm?

robots.txt dosyanıza aşağıdaki bloğu ekleyin — listedeki tüm botlara siteyi açar. Ardından iki doğrulama: dosyanın yayında olduğunu tarayıcıdan görün ve aynı dosyada bu izinleri ezen daha genel bir engelleme kuralı olmadığını kontrol edin. Son adım, önceki bölümdeki CDN ve güvenlik katmanı kontrolü.

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Google-Extended
User-agent: CCBot
Allow: /

Seçici izin de mümkün: her satır bağımsızdır, istemediğiniz botu bloktan çıkarabilirsiniz — örneğin eğitime kapalı kalıp aramada görünmek isteyen site GPTBot satırını siler, OAI-SearchBot'u tutar. Erişim açıldıktan sonra sıradaki adımlar site tarafında: llms.txt kurulumu ve yapılandırılmış veri — genel sıra uygulama bölümünde. İzni verdikten sonra bir hafta içinde loglara tekrar bakın: botların gelmeye başlaması, kapının gerçekten açıldığının en somut kanıtıdır. Gelmiyorlarsa engel hâlâ bir yerdedir ve büyük olasılıkla robots.txt'in dışında, bir önceki bölümde saydığımız katmanlardadır.

Peki engellemeli miyim?

Meşru bir soru — içerik hırsızlığı endişesi gerçektir: botlara açılan içerik, modellerin cevaplarında ve eğitiminde kullanılır; emeğinizin karşılıksız işlendiği hissi haksız değildir. Karşı taraftaki gerçek de şu: engelleyen site, müşterisinin soru sorduğu cevaplardan çekilir. Bu bir ödünleşimdir ve karar sizindir.

Ödünleşimi netleştirelim. Engellemenin koruduğu şey içeriğin yeniden kullanımı; bedeli görünmezliktir — kendi taramamızda marka bahislerinin %78'i firmaların kendi sitelerinin dışından geliyordu, yani siz çekildiğinizde hakkınızdaki konuşma durmaz, sadece kaynağı tamamen başkalarına geçer. Yayıncılar ve içeriğin kendisi ürün olan siteler için engelleme savunulabilir bir tercihtir; müşteri kazanmak isteyen işletme içinse kendi vitrinini karartmaktır.

Orta yol da var ve çoğu işletme için doğrusu bu: bot bot karar verin. Eğitim botlarına kapalı, arama ve cevap botlarına açık bir kurulum — endişenin büyük kısmını karşılar, görünürlüğü korur. Hangi botun hangi işe hizmet ettiği yukarıdaki tabloda; kararınız netleşince izin bloğunu ona göre budayın. Kararsızsanız önce ölçün: hangi cevaplarda geçtiğinizi görmeden yapılan engelleme, büyüklüğünü bilmediğiniz bir bedeli peşin ödemektir.