X-Robots-Tag Nedir?
X-Robots-Tag, sunucunun HTTP yanıt başlığında gönderdiği ve arama motoruna bir dosyanın dizine eklenip eklenmeyeceğini ve bağlantılarının izlenip izlenmeyeceğini bildiren direktiftir.
X-Robots-Tag Nasıl Çalışır?
X-Robots-Tag, HTML sayfasındaki meta robots etiketinin HTTP başlığı olarak karşılığıdır. Sunucu, dosyayı gönderirken başlığa “noindex”, “nofollow” ya da “noarchive” gibi direktifler ekler. Arama motoru dosyayı indirdiğinde bu başlığı okur ve buna göre davranır.
Asıl avantajı, HTML olmayan dosyalara uygulanabilmesidir. PDF, görsel ve video gibi dosyalara meta etiket eklenemez; X-Robots-Tag ile bu dosyaların dizine eklenmesi engellenebilir. Başlık sunucu yapılandırmasında ya da uygulama kodunda tanımlanır. Mantığı noindex ile aynıdır.
- noindex: dizine ekleme
- nofollow: bağlantıları izleme
- noarchive: önbellek kopyası gösterme (Google artık kullanmaz)
X-Robots-Tag Neden Önemlidir?
Dizine girmemesi gereken dosyalar, örneğin içeride kullanılan PDF’ler, test sayfaları ya da yinelenen çıktılar, bu başlıkla toplu olarak yönetilebilir. Tek tek sayfaya etiket eklemek yerine sunucu kuralıyla dosya türüne ya da klasöre uygulanır.
Önemli bir ayrım, robots.txt ile ilişkisidir. robots.txt taramayı engeller; engellenen sayfada başlık okunamayacağı için X-Robots-Tag’in noindex direktifi çalışmaz. Dizinden çıkarmak istenen dosya, taramaya açık bırakılmalı ve başlıkla işaretlenmelidir.
Karar noktası, kuralın kapsamını dikkatle sınırlamaktır. Yanlış yazılmış bir kural tüm siteyi dizinden çıkarabilir; bu nedenle değişiklik canlıya almadan önce test edilmelidir.
Uygulamada başlığın değişiklik sonrası arama motoru tarafından yeniden okunması zaman alır. Dizinden çıkarma beklenen dosyalar için Search Console’da durum izlenmeli ve sonuç görülene kadar kural değiştirilmeden bırakılmalıdır.
X-Robots-Tag’de Sık Yapılan Hatalar
- Aynı dosyayı robots.txt ile de engellemek. Başlık okunamaz, noindex işlemez.
- Kapsamı geniş yazmak. Önemli sayfalar dizinden çıkar.
- Test etmemek. Başlığın gerçekten gönderildiği doğrulanmaz.
- Meta robots ile çelişen kural vermek. Davranış belirsizleşir.
X-Robots-Tag ile Snippet Önizlemesi Nasıl Sınırlanır?
Meta robots etiketinde ve X-Robots-Tag başlığında aynı kurallar arama sonucundaki önizlemeyi sınırlar:
- nosnippet: metin ve video önizlemesi gösterilmez; içerik Google’ın yapay zekâ genel bakışlarında ve AI Mode’da doğrudan girdi olarak da kullanılmaz.
- max-snippet:[sayı]: metin önizlemesini en çok o kadar karakterle sınırlar; 0 nosnippet ile aynıdır, -1 sınır koymaz.
- max-image-preview: görsel önizlemesini none, standard ya da large düzeyinde tutar.
- max-video-preview:[saniye]: video önizlemesinin süresini sınırlar.
- data-nosnippet: başlık değil HTML özniteliğidir; span, div ya da section içindeki metni önizlemenin dışında tutar.
Kurallar çelişirse daha kısıtlayıcı olan uygulanır. Sınır dikkatle seçilir: Google’ın yapay zekâ özelliklerinde görünmek için sayfanın dizinde olması ve snippet ile gösterilebilmesi gerekir.
Örnek: Hizmet sayfasındaki teklif koşulları paragrafı data-nosnippet taşıyan bir div içine alınırsa o paragraf önizlemede kullanılmaz, sayfanın geri kalanı kullanılabilir.
X-Robots-Tag Hakkında Sık Sorulan Sorular
X-Robots-Tag robots.txt ile birlikte kullanılabilir mi?
Aynı dosya için birlikte kullanılmamalıdır: robots.txt taramayı engellerse arama motoru başlığı okuyamaz ve X-Robots-Tag’deki noindex işlemez. Dizinden çıkarılmak istenen dosya taramaya açık bırakılır ve yalnızca başlıkla işaretlenir. Sonuç Search Console’da izlenir, görülene kadar kural değiştirilmez.
X-Robots-Tag ile meta robots arasındaki fark nedir?
Meta robots HTML içinde yer alır; X-Robots-Tag HTTP başlığındadır ve PDF ya da görsel gibi HTML olmayan dosyalara da uygulanır.
X-Robots-Tag nasıl doğrulanır?
Dosyanın HTTP yanıt başlıkları incelenir ve Search Console’daki URL denetim aracı ile sonuç kontrol edilir.