AI botları ve robots.txt nedir?
Robots.txt, sitenizin kök dizininde duran ve botlara hangi bölümlere girebileceğini söyleyen düz metin dosyasıdır. Arama motorlarının yanı sıra yapay zekâ ürünleri de kendi botlarıyla web sitelerini okur. Botlardan bazısı sayfayı cevaplarda göstermek için, bazısı model eğitimi için, bazısı da kullanıcı sorduğu anda sayfayı açmak için çalışır. Bu araç, sitenizin her grup için kapıyı açık mı kapalı mı bıraktığını gösterir. Yapay zekâ cevaplarında yer almanın genel çerçevesi için GEO nedir rehberine bakabilirsiniz.
Aracı nasıl kullanırsınız?
- Site adresini yazın: Örneğin ornek.com.
- Sonucu okuyun: Her bot için Erişebilir veya Engelli yazar; gruplar arama, kullanıcı isteği ve eğitim olarak ayrılır.
- Kararı verin: Arama botlarını açık tutmak yapay zekâ cevaplarında görünme ihtimalini korur; eğitim botlarını engellemek ise içeriğinizin model eğitiminde kullanılmasını sınırlamak için ayrı bir tercihtir.
Hangi botlar kontrol edilir?
- Arama ve cevap botları: Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot, PerplexityBot.
- Kullanıcı isteğiyle açan botlar: ChatGPT-User, Claude-User, Perplexity-User.
- Eğitim ve yapay zekâ kullanım botları: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot.
Sonucu nasıl yorumlarsınız?
Arama botlarından biri engelliyse ilgili ürün sitenizi okuyamaz ve cevaplarında kullanmakta zorlanabilir; bunu istemiyorsanız robots.txt'teki ilgili kuralı düzeltin. Eğitim botlarının engellenmesi içeriğinizin eğitimde kullanılmasını sınırlamak isteyen siteler için yaygın bir tercihtir ve OpenAI belgelerine göre arama botundan ayrı yönetilir. Bir botun erişebilmesi sitenin cevaplarda anılacağı anlamına gelmez; araç yalnızca erişimi gösterir ve sonuç vaat etmez.
Aracın sınırları
Araç yalnızca robots.txt içindeki ana sayfa (/) kuralına bakar. Belirli klasörlere özel kurallar, sunucu seviyesinde bot engelleyen güvenlik duvarları veya CDN ayarları robots.txt dışında olduğu için bu araçta görünmez. Bot adlarını sağlayıcılar zaman içinde değiştirebilir veya ekleyebilir; güncel adlar için sağlayıcıların kendi belgelerine bakın. Yerel işletme sinyalleri için yerel SEO denetim aracını kullanabilirsiniz.
Kaynaklar
Bu sayfadaki açıklamalar için başvurabileceğiniz yayıncı belgeleri:
Dijimera ne zaman devreye girer?
Botlara erişimi düzenlemek, yapay zekâ cevaplarında anılmanız için işletme bilgilerinizi ve içeriğinizi tutarlı hale getirmek veya Google'da ve yapay zekâ ürünlerinde işletmenizin nasıl göründüğünü incelemek istiyorsanız bunu GEO optimizasyon hizmeti kapsamında ele alabiliriz.