İki Kuralın Farklı Görevi
robots.txt tarayıcıların hangi adreslere erişebileceğine ilişkin kuralları iletir. noindex ise erişilen içeriğin arama dizinine alınmamasını istemek için kullanılır. Bu iki kararın aynı amaçla rastgele birlikte uygulanması beklenmeyen sonuçlar doğurabilir.
Örneğin arama sonuçlarından çıkarılması istenen bir sayfa aynı anda taramaya da kapatılmış olsun. Google sayfayı okuyamadığında üzerindeki yeni noindex kuralını göremeyebilir. Bu nedenle yalnızca ayarın panelde açık görünmesi yeterli değildir. Hangi kuralın hangi adresi etkilediği ve arama motorunun gerçekte neye erişebildiği birlikte değerlendirilmelidir. Sorunun adı konmadan bütün engelleri kaldırmak da uygun bir yaklaşım değildir.
Noindex Kuralının Okunması
Noindex sayfanın HTML meta etiketiyle veya uygun HTTP yanıt başlığıyla iletilebilir. Google'ın bu bilgiyi değerlendirebilmesi için ilgili kaynağı tarayabilmesi gerekir. Google robots.txt içine yazılan noindex yönergesini desteklemez.
Bir içerik yönetim sistemi sayfa üzerinde doğru meta etiketini üretirken sunucu yanıtı veya robots.txt başka bir davranış oluşturabilir. İnceleme bu nedenle yalnızca yönetim ekranındaki kutucuğa dayanmaz. Yayımlanan sayfa ve sunucunun yanıtı birlikte okunur. Farklı ortamların karıştırılmaması da önemlidir; test sitesindeki ayarın doğru olması, canlı alan adının aynı çıktıyı verdiğini göstermez. Kontrol gerçek yayın adresi üzerinden yapılmalıdır.
Gizlilik İçin İndeksleme Ayarı Yetmez
Bir içeriğin aramada gösterilmemesi ile yetkisiz kişilere kapalı olması farklı gereksinimlerdir. robots.txt ve noindex, kullanıcı girişinin veya erişim yetkisinin yerine geçmez. Hassas içerik yalnızca arama sonuçlarından saklandığı düşüncesiyle herkese açık bırakılmamalıdır.
Örneğin müşteriye özel bir teklif dosyasının bağlantısını bilen herkes açabiliyorsa noindex kullanılması bu erişimi engellemez. Böyle bir ihtiyaçta kimin hangi içeriği görebileceği uygulamanın yetkilendirme düzeninde ele alınır. Arama görünürlüğü kararı bunun yanında ayrı değerlendirilir. İşletmenin “özel sayfa” ifadesiyle ne kastettiği teknik çalışmadan önce netleştirilmelidir; listelerde görünmemek ile erişime kapalı olmak aynı sonucu üretmez.
Toplu Kuralların Etki Alanı
Geniş adres gruplarına uygulanan tarama kuralları, hedeflenen sayfaların dışında başka içerikleri de etkileyebilir. Bir URL örneğinde doğru görünen kuralın bütün site için doğru olduğu varsayılmamalıdır. Özellikle parametreler, alt dizinler ve farklı içerik türleri ayrı kontrol edilir.
Varsayımsal bir mağazada filtre adreslerini sınırlamak için hazırlanmış geniş bir kural ürün sayfalarını da kapsayabilir. Bu durumda çok sayıda önemli URL aynı anda etkilenir. Önerimiz önce izin verilmesi ve engellenmesi beklenen örnekleri listelemektir. Kural bu iki grupta da incelenirse yanlış kapsama daha kolay fark edilir. Değişiklik gerekçesi sonraki bakım için kaydedilmelidir.
Hatanın Giderildiği Nasıl Anlaşılır?
Doğrulama, hedeflenen adres için beklenen erişim ve indeksleme kararının birlikte uygulanmasıdır. Bir sayfanın aramada kalması isteniyorsa yanlışlıkla noindex taşıyıp taşımadığı araştırılır. Aramadan çıkarılması isteniyorsa kuralın tarayıcı tarafından görülebilir olduğu kontrol edilir.
Raporlarda eski durumun bir süre görünmesi mümkündür; güncel sayfa çıktısıyla rapordaki son bilginin aynı şey olmadığı unutulmamalıdır. Sürekli farklı kural değişiklikleri yapmak olayın takibini zorlaştırır. Önce düzeltmenin gerçek yanıt üzerinde doğrulandığı görülür, ardından rapor sonucu izlenir. Böylece arama görünürlüğü, erişim güvenliği ve tarama yükü birbirine karıştırılmadan yönetilebilir.
Bu Yazıdaki Terimler 1 Kavram
Kısa açıklamaları burada okuyabilir, ayrıntılar için sözlüğe geçebilirsiniz.
- Noindex
- Noindex, bir sayfanın arama motorlarının dizinine alınmamasını ve arama sonuçlarında gösterilmemesini bildiren, robots meta etiketi ya da HTTP başlığı olarak verilen yönergedir.
Bu Konuda Nasıl Destek Oluyoruz?
AdPix’in bu alandaki hizmet kapsamını ve çalışma sürecini inceleyin.
Google