Googlebot İsteklerinde IP ve DNS Doğrulaması

İstemci Adı Tek Başına Kanıt Değildir

Sunucuya gelen bir istek User-Agent başlığında Googlebot yazabilir. Bu başlık istemci tarafından gönderildiği için taklit edilebilir. Gerçek kaynağı doğrulamadan yalnız isme bakarak güvenlik duvarında izin vermek, beklenmeyen istemcilerin aynı erişimi almasına neden olabilir.

İncelemeye isteğin kaynak IP adresi, istemci adı ve istenen yol kaydedilerek başlanır. Bir hatalı ürün isteğiyle başka zamanda gelen gerçek tarama isteği karıştırılmaz. Kanıt aynı istek üzerinden kurulmalıdır. Google’a ait olduğu düşünülen istemcinin hangi tarayıcı veya getirici sınıfında bulunduğu da ayrıca belirlenir.

Ters Sorgu ile Alan Adını Bulmak

Tekil kontrol için önce kaynak IP’ye ters alan adı sorgusu yapılır. Sonuçta gelen makine adının ilgili Google alan adıyla uyumlu olması gerekir. Adın içinde yalnız Google sözcüğü bulunması yeterli değildir; gerçek alan adı sonu değerlendirilir. Kurgusal bir saldırgan, kendi alan adında benzer kelimeler kullanabilir. Bu nedenle kontrol metin benzerliğine indirgenmez. Ortak tarayıcı, özel tarayıcı ve kullanıcı getiricisi için beklenen ad düzeni farklı olabileceğinden, sonuç ilgili sınıfın resmî tanımıyla birlikte okunur.

İleri Sorguyla Geri Eşleştirmek

DNS kontrolü ters sorguda bitmez. Bulunan makine adına ileri sorgu uygulanır ve dönen IP’nin başlangıçtaki kaynak IP ile aynı olup olmadığı incelenir. İki yönlü eşleşme, yalnız adın görünmesine dayanan yanlış kabulü önler. Sonuç notunda başlangıç IP’si, ters sorgu adı ve ileri sorgu sonucu birlikte korunur. Araç çıktısının yalnız bir satırını paylaşmak doğrulamanın tamamlandığını göstermez. Birden fazla IP bulunuyorsa incelenen isteğin gerçek kaynak adresiyle ilişkisi açıklanır; başka Google istemcisinden alınmış örnek kanıt olarak kullanılmaz.

İsteğin İki Yönlü Kimlik Kontrolü

Büyük Hacimde IP Listesi

Çok sayıda istekte otomatik doğrulama için Google’ın yayımladığı IP aralıkları kullanılabilir. Doğru dosya istemci sınıfına göre seçilir: ortak tarayıcı listesi her Google kaynaklı ürünü kapsayan genel liste değildir. CIDR biçimindeki aralıklar uygun IP eşleştirmesiyle değerlendirilmelidir. Basit metin araması bir adresin aralık içinde olup olmadığını doğru belirlemeyebilir. Kullanılan liste ve kontrol zamanı kurum içi kayıtta tutulur. Listeler değişebileceği için bir kez indirilmiş dosyanın süresiz doğru kabul edilmesi yerine güncellik bakımının nasıl yapılacağı belirlenir.

Doğrulamadan Sonra Erişim Kararı

Kimliğin Google olarak doğrulanması, isteğin her dosyaya sınırsız erişmesi gerektiği anlamına gelmez. Ürünün amacı ve mevcut erişim politikası ayrıca değerlendirilir. Aynı şekilde doğrulanamayan isteğe bakarak gerçek Googlebot’un bütünüyle engellenmesi de uygun bir sonuç değildir. Kabul kaydı kimlik sonucunu ve erişim kararını ayrı açıklar. Sunucu yükü, hata yanıtı veya robots.txt sorunu varsa bunlar sonraki incelemede ele alınır. Bu işlem yalnız istemcinin kaynağını araştırır; taranan sayfanın dizine kabulünü, reklam uygunluğunu veya ürünün gösterime alınmasını doğrulamaz.