robots.txt Nedir?
robots.txt, sitenin kök dizininde yayınlanan ve arama motoru botlarına sitenin hangi bölümlerini tarayabileceğini ya da taramaması gerektiğini bildiren metin dosyasıdır.
robots.txt Nasıl Çalışır?
robots.txt, alan adının kökünde (örneğin /robots.txt) yer alan ve botlara tarama kurallarını bildiren dosyadır. Bot siteyi taramadan önce bu dosyayı okur ve belirtilen kurallara uyar. Kurallar bot adı (user-agent), izin verilen (allow) ve yasaklanan (disallow) yollar ile site haritası adresinden oluşur.
E-ticarette robots.txt ile sıkça engellenen alanlar:
- Sepet, ödeme ve hesap sayfaları: arama sonucunda değeri olmayan kullanıcıya özel alanlar.
- Dahili arama sonuçları: sonsuz sayıda benzer sayfa üretir.
- Gereksiz filtre ve sıralama parametreli adresler: tarama bütçesini tüketir.
- Yönetim alanları ve test ortamları.
Önemli ayrım: robots.txt taramayı kontrol eder, indekslemeyi değil. Engellenen bir sayfa başka sitelerden bağlantı alıyorsa içeriği taranmadan da arama sonuçlarında görünebilir. Bir sayfayı dizinden tamamen çıkarmak için noindex yönergesi kullanılır ve bunun okunabilmesi için sayfanın taramaya açık olması gerekir.
robots.txt E-Ticarette Neden Önemlidir?
Büyük kataloglu sitede tarama kapasitesi sınırlıdır ve bu kapasite önemli ürün ve kategori sayfalarına ayrılmalıdır. Yanlış yazılmış tek bir satır siteyi tümüyle taramaya kapatabilir (örneğin tüm siteyi engelleyen bir kural); bu, canlıya alınan test dosyasının unutulmasıyla sık görülen ve organik trafiği çökerten bir hatadır. Her güncellemeden sonra dosya test edilir.
Karar olarak hangi alanların engelleneceği, arama değeri taşıyan filtre sayfalarının açık bırakılması ve site haritası adresinin dosyada belirtilmesi planlanır. Dosya, yapay zekâ botlarının erişimini yönetmek için de kullanılır; hangi botlara izin verileceği işletmenin stratejisine bağlıdır ve bot adları sağlayıcılara göre değişir. Dizinden çıkarma için noindex, tarama bütçesi için tarama bütçesi sayfalarına bakılabilir.
Dosya bir güvenlik mekanizması değildir: herkese açıktır ve gizli bilgi barındıran adresleri listelemek onları ele verir.
robots.txt’te Sık Yapılan Hatalar
- Tüm siteyi yanlışlıkla engellemek. Canlıda organik trafik düşer.
- Engellemeyi dizinden çıkarma sanmak. Sayfa yine de sonuçlarda görünebilir.
- CSS ve JavaScript dosyalarını engellemek. Sayfanın doğru işlenmesi zorlaşır.
- Gizli adresi dosyada listelemek. Dosya herkese açıktır.
robots.txt Hakkında Sık Sorulan Sorular
robots.txt gizli sayfaları korur mu?
Korumaz; dosya herkese açıktır ve gizli bilgi taşıyan adresleri listelemek onları ele verir. Bağlantı alan engelli bir sayfa da içeriği taranmasa bile arama sonuçlarında yer alabilir.
robots.txt ile noindex arasındaki fark nedir?
robots.txt taramayı engeller; noindex ise sayfanın arama sonuçlarında gösterilmemesini bildirir. Bir sayfayı dizinden çıkarmak için noindex kullanılır ve sayfa taranabilir olmalıdır.
robots.txt nasıl test edilir?
Search Console’daki robots.txt raporu ve adres denetimi aracıyla dosyanın okunduğu ve belirli adreslerin engellenip engellenmediği kontrol edilir.