Googlebot Nedir?
Googlebot, Google Arama için web sayfalarını keşfeden ve tarayan tarayıcının genel adıdır; mobil cihazı taklit eden Googlebot Smartphone ve masaüstünü taklit eden Googlebot Desktop olmak üzere iki türü vardır.
Googlebot Nasıl Çalışır?
Googlebot yeni adresleri çoğunlukla daha önce taradığı sayfalardaki bağlantılardan keşfeder. Sayfayı aldıktan sonra HTML’de başvurulan CSS ve JavaScript dosyalarını ayrı ayrı çeker. Google Arama için taramada desteklenen dosya türlerinde dosyanın ilk 2 MB’ını, PDF’lerde ilk 64 MB’ını alır; sınır sıkıştırılmamış veriye uygulanır ve ötesi dizine ekleme için gönderilmez.
Çoğu site için Google ağırlıklı olarak içeriğin mobil sürümünü dizine eklediğinden isteklerin büyük bölümü Googlebot Smartphone’dan gelir. Googlebot, Google’ın ortak tarayıcılarındandır ve otomatik taramalarda robots.txt kurallarına uyar. İki tür de robots.txt’te aynı ürün belirtecini (Googlebot) kullandığı için yalnızca birini hedefleyen kural yazılamaz.
Googlebot İsteği Nasıl Doğrulanır?
Sunucu kayıtlarında Googlebot adını taşıyan her istek Google’dan gelmez; kullanıcı aracısı (user-agent) bilgisi başka tarayıcılar tarafından sıkça taklit edilir. Doğrulamada isteğin IP adresine ters DNS sorgusu yapılır ve dönen alan adının googlebot.com, google.com ya da googleusercontent.com olduğu kontrol edilir. Ardından bu ada ileri DNS sorgusu yapılarak aynı IP adresine ulaşıldığı teyit edilir. Çok sayıda istek için IP adresi, Google’ın yayımladığı IP aralıklarıyla otomatik olarak karşılaştırılabilir.
Örnek: Bursa hizmet sayfasının sunucu kayıtlarında Googlebot Smartphone kimliğiyle gelen ve 404 yanıtı alan bir istek görülür. Önce isteğin gerçekten Google’dan geldiği doğrulanır. İstek doğrulanırsa sayfaya giden kırık bir iç bağlantı ya da eski bir adres aranır; doğrulanmazsa istek bot yönetimi kurallarıyla ele alınır.
Googlebot’u Engellemek Dizinden Çıkarmak Mıdır?
Hayır, tarama ile dizine ekleme ayrı işlemlerdir. robots.txt Googlebot’un bir sayfayı taramasını engeller ama sayfanın adresinin arama sonuçlarında görünmesini engellemez. Sayfanın dizine eklenmemesi isteniyorsa noindex kullanılır; sayfa hem botlara hem kullanıcılara kapatılacaksa parola koruması gibi bir yöntem seçilir. Googlebot’u engellemek Google Arama’nın yanında Google Görseller, Google Video ve Google Haberler’i de etkiler.
Googlebot Hakkında Sık Sorulan Sorular
Googlebot bir sayfanın ne kadarını tarar?
Google Arama için desteklenen dosya türlerinde dosyanın ilk 2 MB’ı, PDF’lerde ilk 64 MB’ı alınır. Sınır sıkıştırılmamış veriye uygulanır ve aşan kısım dizine ekleme için gönderilmez. HTML’de başvurulan CSS ve JavaScript dosyaları ise ayrı istekler olarak çekilir.
robots.txt ile yalnızca Googlebot Smartphone engellenebilir mi?
Hayır. İki tür de robots.txt’te aynı ürün belirtecine uyar; bu yüzden yalnızca birini hedefleyen kural yazılamaz.
Googlebot siteyi ne sıklıkla ziyaret eder?
Google’a göre çoğu sitede Googlebot ortalamada birkaç saniyede bir istekten fazlasını göndermemelidir. Kısa sürelerde bu sıklık biraz yüksek görünebilir; sunucu yetişemiyorsa tarama hızı düşürülebilir.