Hizmet sayfanız kendi tarayıcınızda açılıyor, robots.txt dosyasında da izin görünüyor. Yine de aynı sayfayı isteyen otomatik bir bot güvenlik kontrolüne takılabilir. AI tarayıcı erişimini değerlendirirken yalnız ayar ekranına değil, isteğin sonunda hangi cevabın döndüğüne bakmak gerekir.
Buradaki tarayıcı, Chrome gibi kullandığınız uygulama değil; web sayfalarını otomatik isteyen yazılımdır. AI aramalarında görünürlük hedefiyle teknik erişimin ilişkisini GEO ve AEO’nun kapsamından okuyabilirsiniz. Şimdi herkese açık olmasını istediğiniz bir hizmet veya ürün sayfasını seçip teknik ekibinizden hangi kanıtları isteyeceğinizi netleştirelim.
1. Önce Botun Hangi Amaçla Geldiğini Belirleyin
“AI botlarına izin verelim” talimatı eksik kalır. Arama sonuçları için sayfa bulmak, model eğitimi için içerik toplamak ve kullanıcının isteği üzerine adres açmak ayrı işlemlerdir. Marka adına bakıp hepsine aynı karar uygulanmamalı.
| Ad | İlgili Kullanım | Karıştırılmaması Gereken Nokta |
|---|---|---|
| OAI-SearchBot | ChatGPT araması | GPTBot eğitim tercihiyle aynı kontrol değildir. |
| Googlebot | Google Search | Google-Extended, Search’e dahil olmayı belirlemez. |
| PerplexityBot | Perplexity araması | Kullanıcının başlattığı Perplexity-User ziyaretiyle aynı görev değildir. |
Ayrımlar OpenAI’ın bot belgesinde, Google’ın tarayıcı açıklamalarında ve Perplexity’nin erişim belgesinde yer alır. İnceleme kaydına yalnız şirketi değil, hedeflenen botu ve kullanım amacını yazın.
Örneğin amaç hizmet sayfasının arama sistemince alınabilmesi olsun. Teknik işin kapsamı o sayfaya, ilgili arama botuna ve alınan yanıta bağlanır. Eğitim tercihini değiştirmek, aynı görevin otomatik parçası yapılmaz.
2. Robots İznini Gerçek Sayfa Adresiyle Kontrol Edin
Robots.txt, otomatik tarayıcılar için tarama kurallarını taşıyan metin dosyasıdır. Kontrol sırasında sayfanın tam adresini, ilgili bot grubunu ve sayfa yoluna uygulanan kuralı birlikte inceleyin. Dosyanın herhangi bir yerinde Allow görmek, hedef URL hakkında karar vermeye yetmez.
Google’ın robots açıklaması, dosyanın kapsamını alan adı, protokol ve porta bağlar. Ana site açıkken yardım alt alan adının farklı bir kuralla yönetilmesi mümkündür. Geliştirme ortamındaki dosya yerine yayımlanan adresin dosyasını kontrol edin.
Robots izni, özel veriyi herkese açma talimatı değildir. Robots Exclusion Protocol erişim yetkilendirmesi sağlamaz. Müşteri hesapları ve yönetim alanları gerçek giriş ve yetki kontrolleriyle korunmalıdır.
Teknik ekibin cevabı “dosya düzeltildi” ile bitmesin. Hangi botun hangi herkese açık URL’ye izin aldığı ve hangi alanların kapalı kalacağı kayda geçsin. Kural değişikliğinden sonra sayfanın kendisine yapılan isteği de sınayın; izin dosyası ile içerik yanıtı ayrı kontrollerdir.
3. Güvenlik Duvarından Dönen Yanıtı İnceleyin
CDN, içeriğin sunulmasına aracılık edebilir; WAF ise web isteklerini güvenlik kurallarına göre denetleyen katmandır. Bot, sitenin uygulama sunucusuna ulaşmadan burada durabilir. Tarayıcınızda açık oturum veya farklı bir güvenlik değerlendirmesiyle sayfayı görmeniz, botun da aynı yanıtı aldığını kanıtlamaz.
Cloudflare’ın kural önceliği açıklamasında, AI Crawl Control içindeki izin tercihinin diğer bütün WAF kurallarını geçersiz kılmadığı belirtilir. Engel varsa eşleşen kuralı bulun; çözümü güvenlik duvarını bütünüyle kapatmak olarak tanımlamayın.
- 403: İstek reddedilmiştir. Hangi katmanın ve kuralın reddettiğini araştırın.
- 429: Trafik sınırını inceleyin; tek yanıtı kalıcı engel diye yorumlamayın.
- 5xx: Sunucu veya aradaki hizmetlerdeki hatanın kaynağını bulun.
- 200: Dönen gövdeyi okuyun. Beklenen hizmet metni yerine boş kabuk veya kontrol ekranı gelmiş olabilir.
Google’ın HTTP durum kodları belgesi de başarılı yanıtı indeks garantisi saymaz. Yönlendirme varsa son adresi ve son yanıtı kaydedin; yalnız ilk isteğin koduyla işi kapatmayın.
4. Ana İçeriği ve İndeks Koşullarını Ayrı Doğrulayın
Hizmetin adı, kapsamı ve açıklaması gerçekten gelen içerikte var mı? Yalnız menü, yükleniyor işareti veya giriş ekranı görünüyorsa durum kodu soruyu cevaplamamıştır. Geliştiriciden seçtiğiniz sayfanın yanıtında esas metni göstermesini isteyin.
JavaScript ile çalışan sayfalarda işleme koşulu da incelenir. Google JavaScript’i işleyebilir; aynı yeteneği bütün AI tarayıcıları için varsaymayın. Hedef platformun belgesini ve eldeki yanıtı birlikte değerlendirin. Ziyaretçiye başka, bota başka iddia sunmak çözüm değildir.
Google AI Overviews ve AI Mode için kaynak bağlantısına uygunluk, indekslenmiş ve snippet gösterimine uygun bir sayfa gerektirir. Erişim mümkün olsa bile noindex veya ilgili önizleme tercihleri ayrı incelenir. Google’ın noindex yönergesini okuyabilmesi de tarama erişimine bağlıdır.
Site genelinde indeks, yönlendirme veya şablon sorunları bulunuyorsa teknik SEO bulgularını önceliklendirin. Altyapı kontrolünden sonra metinde eksik cevap görürseniz kaynağı ve sınırı açık içerik hazırlığına geçin. Çok sayıda mevcut sayfanın hangisinden başlanacağı belirsizse GEO içerik denetimi ayrı çalışma listesini oluşturur.
5. Gerçek İstek Kanıtını Kaydedip Yeniden Kontrol Edin
Bot adı taşıyan her istek gerçekten o kuruluştan gelmez. User-Agent, istekte bildirilen kimlik metnidir; tek başına doğrulama değildir. Google’ın doğrulama yöntemi resmî IP aralıklarını veya ters DNS sonucunun ileri DNS ile eşleşmesini kullanır. Diğer platformlarda da kendi güncel doğrulama belgelerini esas alın.
Kendi isteğinize bot adı yazmanız, gerçek bot ziyareti oluşturmaz. Böyle bir deneme yalnız belirli bir istek biçimine verilen cevabı gösterebilir. Tarayıcıya erişim verildiğini veya sayfanın AI yanıtına seçildiğini tek başına kanıtlamaz.
İş kaydında URL, zaman, bildirilen bot adı, kimlik doğrulama sonucu, HTTP yanıtı, dönen ana içerik ve varsa engelleyen kural bulunsun. Kaydı göremiyorsanız “bot engellendi” sonucuna atlamayın; istek gelmemiş, kayıt süresi dolmuş veya kayıt başka katmanda tutulmuş olabilir.
Varsayımsal bir hizmet sayfasında doğrulanmış istek robots iznine rağmen 403 alsın. İncelemede yanlış bir WAF eşleşmesi bulunursa yalnız gereken kapsamda düzeltme yapılır. Sonraki doğrulanmış istekte beklenen içerik gelirken korunması gereken alanların kapalı kaldığı da kontrol edilir. Görevin sonucu “erişim engeli giderildi” olabilir; “AI bizi önerecek” olamaz.
Metazen’de teknik bulguyu, sorumlusu ve bitiş kontrolü belli bir işe çevirmeyi benimsiyoruz. Erişim düzeltmesinden sonraki görünürlüğü ise AI yanıtlarını ayrı kayıtlarla izleyerek değerlendirin. Tarama kaydı ile kullanıcıya gösterilen kaynak bağlantısı farklı kanıtlardır.
AI Erişimindeki Engeli Birlikte Netleştirelim
Elinizde bot uyarısı var ama sorunun içerikte mi, sunucuda mı olduğunu seçemiyorsanız önce etkilenen sayfaları ve yanıtları birlikte inceleyebiliriz. Metazen’in teknik SEO ve yazılım ekibi, bulguları uygulanabilir bir sıraya koyup düzeltme sonrası kontrolü planlayabilir. Teknik erişimi içerik hazırlığı ve görünürlük takibiyle nasıl ele aldığımızı GEO ve AEO hizmetimizin kapsamında inceleyebilirsiniz.
