Google İçin robots.txt Dosyasının Doğru Yayımlanması

Dosyanın Gerçek Konumu

Robots.txt dosyası, kuralların geçerli olacağı ana makinenin kökünde bulunmalıdır. Bir alt klasöre konan aynı adlı dosya bütün siteyi yönetmez. Dosya adı ve gerçek yayın adresi teknik kontrolde birlikte değerlendirilir.

Örneğin mağaza bir alanın alt yolunda çalışsa da kökte dosya yayımlama yetkisi farklı kişide olabilir. Yönetim ekranında metin hazırlamak, doğru kökte yayına çıktığını kanıtlamaz. Önce alanı yöneten ekip ve gerçek sunucu yolu belirlenir. Kuralların uygulanmadığı durumda yalnız metni yeniden yazmak yerine, Google’ın hangi dosyayı okuyabildiği araştırılır.

Alan ve Protokol Sınırı

Bir robots.txt dosyasının kapsamı barındığı ana makine, protokol ve portla ilişkilidir. Ana alanın dosyasının bütün alt alanları kendiliğinden yönettiği varsayılmaz. HTTP ve HTTPS sürümleri de gerçek yanıtlarıyla incelenir. Kurgusal bir mağazada görseller ayrı alan adından geliyorsa onların erişim kararı kendi kapsamındadır. Teknik kabul listesi mağaza, görsel alanı ve kullanılan diğer önemli hostları açıkça belirtir. Aynı sunucu IP’sinde bulunmaları tek dosyanın hepsine otomatik uygulanacağı anlamına gelmez. URL’ler kendi yayın yerinde kontrol edilir.

Düz Metin ve Kodlama

DNS kaydı doğru olsa bile dosyanın içeriği geçerli biçimde sunulmalıdır. Robots.txt düz metin ve UTF-8 olarak hazırlanır. Kelime işlemcinin eklediği özel biçim veya beklenmeyen karakterler, kuralların okunmasını etkileyebilir. Bir hata sayfasının başarılı yanıtla dönmesi de gerçek dosyanın bulunduğunu kanıtlamaz. İncelemede yalnız HTTP durumuna değil gövde içeriğine bakılır. Desteklenmeyen satırlarla güvenlik veya tarama hızı kararı kurulmaz. Özellikle Google’ın desteklediği alan adları ve yol biçimi esas alınır; açıklama satırları gerçek kuraldan açıkça ayrılır.

Dosyanın Konumu ve Canlı Yanıtı

Anonim Erişimi Kontrol Etmek

Yayımlanan dosya oturum açmadan okunabilmelidir. Kendi yönetici oturumunuzda dosyayı görmek, anonim istemcinin de aynı içeriği aldığı anlamına gelmez. Tarayıcıdaki gizli pencere veya uygun HTTP kontrolüyle yanıt incelenir. Erişim güvenliği, yönlendirme veya hata sayfası varsa bunun dosyaya etkisi açıklanır. Sadece sunucudaki bir klasörde dosyanın varlığı yeterli değildir. Barındırma sistemi dosyayı dinamik üretiyorsa yönetilen ayarla dışarıdaki yanıt karşılaştırılır. Platformun desteklediği yöntem kullanılır; başka altyapının dosya yükleme yolu aynı hesapta zorunluymuş gibi anlatılmaz.

Yayının Sonucunu Değerlendirmek

Google, doğru konumdaki dosyayı tarama sürecinde kendisi bulabilir; ayrıca sıradan bir içerik gönderimi yapmak gerekmez. Güncelleme varsa önbellek yenilemesi ayrı konudur. Kabul notu gerçek URL’yi, yanıtı, metin biçimini ve örnek kuralların sonucunu içerir. Dosyanın yayında olması bütün satırların hedeflediği gibi eşleştiğini göstermez; izinli ve kapalı örnekler ayrıca sınanır. Yanlış kök kapsamı çözülmeden Search Console mülkünü silip yeniden eklemek gerekli bir adım olarak sunulmaz. Sorun, dosyanın gerçek sunumu ve hangi adresleri yönettiği üzerinden sonuçlandırılır.