Google robots.txt Kurallarında Eşleşme Önceliği

Dosyadaki Sıra Her Şeyi Belirlemez

Robots.txt içinde izin ve engel satırlarının bulunması, ilk görülen satırın bütün durumlarda uygulanacağı anlamına gelmez. Google önce ilgili kullanıcı aracısının grubunu ve ardından URL’ye uyan kuralları değerlendirir. Bu nedenle dosyanın yalnız üst bölümünü okumak yanlış sonuca götürebilir.

Kurgusal bir mağazada genel dizin engeliyle belirli ürün yoluna izin birlikte bulunabilir. İncelemeye tam URL ve hedef istemci adı kaydedilerek başlanır. Hangi kuralın neden uygulandığı açıklanmalıdır. “Dosyada allow var” demek, o URL’nin gerçekten izinli olduğunu tek başına kanıtlamaz.

Kullanıcı Aracısı Grubunu Seçmek

Belirli tarayıcı için tanımlanan grup ile bütün tarayıcılara yönelik yıldız grubu aynı kapsam değildir. Google ilgili istemciye en uygun grubu seçer; gruplar düşünmeden tek uzun kural listesi gibi birleştirilmez. Aynı kullanıcı aracısına ait birden fazla grup bulunduğunda bunların nasıl değerlendirildiği de resmî kurala göre incelenir. İşletmenin Googlebot ile görsel tarayıcısı için farklı kararları varsa testler ayrı yapılmalıdır. Bir istemcide izinli görünen yolun diğerinde de izinli olduğu varsayılmaz. Destek notunda istemci adı mutlaka korunur.

En Özel Yolun Etkisi

Canonical etiketi tercihi veya site haritasında bulunma, robots eşleşmesinin yerine geçmez. URL’ye uyan kurallar arasında yol uzunluğuna dayanan en özel kural dikkate alınır. Aynı güçte çatışan izin ve engel varsa Google daha az kısıtlayıcı olanı kullanır. Bu yüzden genel bir dizin engeline daha dar bir izin eklemek belirli yolu açabilir. Fakat gerçek eşleşme örnek URL üzerinde kontrol edilmelidir. Yalnız insan gözüyle daha anlamlı görünen satır seçilmez; kuralın karakterleri ve URL ile eşleşen kapsamı teknik olarak değerlendirilir.

İstemci ve Yol İçin Kural Seçimi

Harf ve Joker Karakter Ayrıntısı

Yol değerlerinde büyük ve küçük harf farkı önemlidir. Aynı sözcüğün farklı harf biçimi kuralla eşleşmeyebilir. Yıldız karakteri değişken diziyi, dolar işareti ise yol sonuna ilişkin eşleşmeyi etkiler. Bir dosya uzantısını engelleyen kuralın parametre eklenince nasıl davrandığı ayrıca incelenir. Boş yol içeren izin veya engel satırının beklenen etkiyi oluşturduğu varsayılmaz. Kurgusal test kümesinde doğrudan dosya, parametreli sürüm ve farklı harfli yol birlikte bulunabilir. Geniş kuralın önemli ürünleri kapsamaması için izinli örnekler de test edilir.

Kural Değişikliğini Kabul Etmek

Kabul kaydı hedef kullanıcı aracısını, örnek URL’leri, eşleşen kuralı ve beklenen sonucu içerir. Dosya sunucuda güncellendikten sonra gerçek yayımlanan içerik ayrıca okunur. Kuralların doğru olması, Google’ın önbelleğindeki sürümün aynı anda yenilendiği anlamına gelmez. Engellenmesi gereken yol kadar erişimi korunacak ürün ve kaynaklar da kontrol edilir. Robots.txt bir gizlilik veya parola mekanizması değildir; erişim güvenliği ayrı sağlanır. Sonuç, belirli istemcinin tarama iznine ilişkindir. Bir yolun izinli olması o içeriğin dizine alınacağını veya aramada gösterileceğini garanti etmez.