AI Tarama Denetimi

Yapay zekâ ürünleri, içerik toplamak ve yanıt üretmek için kendi botlarını kullanır. Bu botların sitenize erişip erişemeyeceğini ilk olarak robots.txt dosyanız belirtir. Araç, bu dosyayı sizin için okur ve botları tek tabloda toplar: hangileri izinli, hangileri engelli, hangileri için ayrı bir kural yok.

Denetim iki yerde işe yarar: kendi sitenizin mevcut durumunu görmek ve bir kuralı değiştirdikten sonra sonucun beklediğiniz gibi olduğunu doğrulamak. Amaç, sitenizin hangi botlara açık olduğunu bilerek karar vermenizdir. Bir botu engellemek de izin vermek de geçerli bir tercih olabilir; sorun, bu tercihin farkında olmadan, örneğin eski bir kuraldan ya da bir eklentiden kalan bir satırla belirlenmesidir.

Alan adını yazıp Denetle düğmesine bastığınızda araç, sitenizin kökündeki /robots.txt dosyasını AdPix’in sayfa getirme servisi üzerinden okur. Tarayıcılar başka bir sitenin dosyasını doğrudan okuyamadığı için sorgu bu servis aracılığıyla yapılır; yalnızca herkese açık adresler okunur. Ardından kökteki /llms.txt adresi ikinci bir sorguyla denetlenir: durum 200 ve içerik metin ise dosya var sayılır.

Adresle okuma kullanılamadığında ya da dosyayı kendiniz denetlemek istediğinizde robots.txt içeriğini yapıştırabilirsiniz. Yapıştırdığınız metin tarayıcınızda işlenir ve sunucuya gönderilmez.

Okunan dosya tarayıcınızda ayrıştırılır; her bot için önce kendi adıyla bir grup aranır, bulunamazsa genel grup kullanılır. Böylece tablo, dosyanın bot bazında ne söylediğini aynı mantıkla gösterir. Sorgu ağ hatası ya da zaman aşımı nedeniyle tamamlanamazsa araç bunu bildirir ve dosyayı yapıştırarak devam edebilirsiniz.

robots.txt, sitenin kök dizininde duran ve tarayıcı botlara hangi adreslere girmemelerini söyleyen düz metin dosyasıdır. Her grup bir User-agent satırıyla başlar ve ardından Allow ile Disallow kuralları gelir. Bir botun adı yoksa * grubu genel kural olarak uygulanır.

robots.txt bir erişim denetimi değil, bir istektir. Kurallara uymak botun kendisine bağlıdır; dosya, botun gerçekte ne yapacağını garanti etmez. Gizli kalması gereken içerik için parola ya da sunucu tarafı erişim denetimi kullanın.

Dosyada ayrıca Sitemap satırıyla site haritasının adresi bildirilebilir. Araç bu satırları da listeler; böylece arama motorlarına hangi site haritasının önerildiğini tek bakışta görürsünüz.

Her bot bir kuruma aittir ve farklı bir amaçla çalışır. Araçtaki botlar şöyle tanıtılabilir:

• Googlebot: Google’ın arama botudur.
• Bingbot: Microsoft Bing’in arama botudur.
• GPTBot: OpenAI’a aittir; OpenAI, bu botu model eğitimi için içerik toplamakla ilişkilendirir.
• OAI-SearchBot: OpenAI’a aittir; ChatGPT’nin arama özelliği ile ilişkilidir.
• ChatGPT-User: OpenAI’a aittir; kullanıcının isteğiyle bir sayfayı açarken devreye girer.
• ClaudeBot: Anthropic’e aittir.
• PerplexityBot: Perplexity’ye aittir.
• Google-Extended: ayrı bir bot değil, Google’ın yapay zekâ ürünlerinde içeriğinizin kullanılıp kullanılmayacağını denetleyen robots.txt belirtecidir.
• Applebot-Extended: Apple’ın yapay zekâ kullanımı için sunduğu benzer bir denetim belirtecidir.
• CCBot: Common Crawl’a aittir; topladığı veri yapay zekâ eğitiminde de kullanılabilir.
• Bytespider: ByteDance’e aittir.
• Amazonbot: Amazon’a aittir.
• meta-externalagent: Meta’ya aittir.

Botların işlevleri sağlayıcıların açıklamalarına dayanır ve zamanla değişebilir. Güncel bilgi için ilgili kurumun yayımladığı bot belgelerine bakın.

Tablo, her bot için sitenin kök adresine erişim durumunu gösterir.

• İzinli: Botun grubunda kökü engelleyen bir kural yok.
• Engelli: Botun uyguladığı grupta Disallow: / var ve onu geçersiz kılan bir Allow: / yok.
• Kısmen kısıtlı: Kök açık, ancak bazı dizinler engelli.
• Kural yok: Dosyada bota da * grubuna da uyan bir grup yok; kısıt tanımlanmamış.

Bir bot için kendi adıyla bir grup yoksa * grubu geçerli olur; tablo bu durumu “Bota özel kural yok; genel (*) kural geçerli” notuyla belirtir. Her satırda kararı veren kural satırı da gösterilir; böylece bir botun neden engelli ya da izinli göründüğünü dosyada hangi satırın belirlediğini bularak anlayabilirsiniz.

Tek bir doğru cevap yoktur; karar sitenizin amacına bağlıdır. İçeriğinizin yapay zekâ ürünlerinde kaynak olarak kullanılmasını istemiyorsanız ilgili botları engelleyebilirsiniz. Markanızın yapay zekâ yanıtlarında anılmasını istiyorsanız botlara erişim vermek gerekebilir. Ancak bir bota izin vermek, içeriğinizin kullanılacağını ya da bir yanıtta yer alacağınızı garanti etmez.

Eğitim amaçlı botlar ile arama ve kullanıcı isteğiyle çalışan botları ayrı değerlendirebilirsiniz; bazı sağlayıcılar bunlar için ayrı kullanıcı aracısı adları sunar. Engelleme kararı vermeden önce arama motoru botlarını (Googlebot, Bingbot) yanlışlıkla kapatmadığınızdan emin olun. Kararı verdikten sonra dosyayı yayına alıp bu aracı yeniden çalıştırmak, değişikliğin beklediğiniz sonucu verdiğini doğrulamanın en kolay yoludur.

robots.txt, botlara hangi alanlara girmemeleri gerektiğini söyleyen bir kural dosyasıdır. llms.txt ise sitenizi büyük dil modellerine tanıtan, önemli sayfaları listeleyen bir özet metin önerisidir. Biri erişimi düzenler, diğeri yol gösterir; biri diğerinin yerini tutmaz.

llms.txt onaylanmış bir standart değildir; arama motorlarının ya da yapay zekâ sağlayıcılarının dosyayı kullanacağı garanti edilmez. Araç, bu dosyanın sitenizde var olup olmadığını yalnızca bilgi olarak bildirir. Hazır bir dosya oluşturmak için llms.txt Oluşturucu aracını kullanabilirsiniz.

Sitenin /robots.txt adresi 404 dönüyorsa dosya yok demektir. Bu durumda botlar için tanımlı bir kısıt yoktur ve araç “dosya yok: botlar için kısıt yok” bulgusunu verir. Bu bir hata değildir; ancak hiçbir botu yönlendirmediğiniz ve site haritanızı da dosyada bildirmediğiniz anlamına gelir.

Çoğu sitede robots.txt, içerik yönetim sistemi ya da bir SEO eklentisi tarafından otomatik üretilir; dosyayı kendiniz yüklemediyseniz bile var olabilir. Dosya yerine sayfa ya da boş içerik dönüyorsa araç bunu da belirtir. Sunucu hatası (örneğin 5xx) varsa sonuç belirsizdir; hatayı giderdikten sonra denetimi yineleyin.

Bir botu engellemek için dosyaya onun adıyla bir grup eklenir: önce User-agent: GPTBot satırı, hemen altına Disallow: / satırı yazılır.

İzin vermek için aynı grupta Allow: / kullanılır. Bota özel bir grup yazdığınızda o bot yalnızca kendi grubunu uygular; * grubundaki kısıtlar o bot için geçerli olmaz. Kural dosyasını elle yazmak yerine robots.txt Oluşturucu aracında bot bazında seçim yapıp hazır çıktıyı alabilirsiniz.

Araç yalnızca kök adres için geçerli kuralı değerlendirir; dizin bazlı ayrıntıları ve joker karakterli desenleri tam olarak yorumlamaz. Tablo, botun gerçekte nasıl davrandığını göstermez: kurala uymak botun kendisine bağlıdır ve her sağlayıcı kurallara aynı şekilde uyduğunu taahhüt etmez. Bot adları ve işlevleri de zamanla değişebilir.

Araç bir sayfanın dizine girip girmeyeceğini ya da yapay zekâ yanıtlarında görünüp görünmeyeceğini söylemez; yalnızca dosyadaki kuralları okur.