Robots Meta Etiketi (Robots Meta Tag) Nedir?
Robots meta etiketi, bir HTML sayfasına yazılan ve arama motorlarına o sayfanın dizine eklenip eklenmeyeceğini, bağlantılarının izlenip izlenmeyeceğini ve sonuçlarda nasıl gösterileceğini bildiren meta etikettir.
Diğer Adları: Robots Meta Tag, Meta Robots
Robots Meta Etiketi Nasıl Çalışır?
Etiket sayfanın head bölümüne yazılır. name değeri hangi tarayıcıya seslenildiğini, content değeri uygulanacak kuralları söyler. name değeri “robots” olduğunda kural bütün arama motoru tarayıcılarına yöneliktir; Google bu alanda ayrıca “googlebot” ve “googlebot-news” adlarını tanır. Kurallar aynı etikette virgülle ya da ayrı etiketlerde yazılabilir ve büyük-küçük harf ayrımı yoktur.
Farklı tarayıcılar için farklı kurallar yazıldığında arama motoru kısıtlayıcı kuralların toplamını uygular. Örnek: Bütün tarayıcılar için nofollow, Googlebot için noindex yazılmışsa Googlebot sayfayı noindex ve nofollow birlikte yazılmış gibi değerlendirir.
Robots Meta Etiketinde Kullanılan Kurallar
- noindex: sayfa arama sonuçlarında gösterilmez.
- nofollow: sayfadaki bağlantılar yeni sayfaları keşfetmek için kullanılmaz.
- none: noindex ve nofollow kurallarının birlikte yazılmış hâlidir.
- nosnippet: sonuçta metin özeti ya da video önizlemesi gösterilmez; Google’da içeriğin yapay zekâ yanıtlarında doğrudan girdi olarak kullanılmasını da engeller.
- max-snippet, max-image-preview, max-video-preview: özetin ve önizlemelerin boyutunu sınırlar.
- unavailable_after: belirtilen zamandan sonra sayfanın sonuçlarda gösterilmemesini ister.
Kural yazılmazsa varsayılan değer all’dur, yani kısıtlama yoktur.
Robots Meta Etiketi, robots.txt ve X-Robots-Tag Farkı
robots.txt taramayı, robots meta etiketi ise dizine eklemeyi ve sonuçtaki gösterimi yönetir. Etiket ancak sayfa tarandığında okunur: robots.txt ile taranması engellenen bir sayfadaki noindex kuralı görülmez ve uygulanmaz. Sonuçlardan çıkması istenen sayfanın taranmasına bu yüzden izin verilir.
X-Robots-Tag aynı kuralları HTTP yanıt başlığında taşır. PDF, görsel ya da video gibi HTML olmayan dosyalarda etiket yazılamadığı için bu yol kullanılır.
Robots Meta Etiketi ile Sayfa Düzeyinde Görünürlük Denetimi
Örnek: Bir içerik yönetim sisteminin taslak önizleme sayfaları herkese açık bir adreste açılıyor. Bu sayfalara noindex kuralı yazılır; yayımlanmamış metin arama sonuçlarına girmez. Önizleme yalnızca girişle açılıyorsa tarayıcı sayfaya zaten ulaşamaz.
Şablona yanlışlıkla eklenen bir noindex kuralı bütün bir sayfa grubunu sonuçlardan çıkarabilir. Bu yüzden şablon değişikliğinden sonra birkaç sayfanın canlı sürümü Search Console’daki URL denetimiyle kontrol edilir.
Robots Meta Etiketi Hakkında Sık Sorulan Sorular
noindex için robots.txt engeli yeterli mi?
Hayır. robots.txt ile engellenen sayfa taranmadığı için içindeki noindex kuralı okunmaz. Sonuçlardan çıkarılacak sayfanın taranmasına izin verilmelidir.
Robots meta etiketi her arama motorunda aynı çalışır mı?
Garanti değildir. Google, kurallarının bütün arama motorlarında aynı biçimde işlenmeyebileceğini belirtir. Başka bir arama motoru için o motorun kendi belgesine bakılır.