İstek Türünü Belirlemek
Sunucu kaydında Google adını taşıyan bütün istekler aynı amaçla gelmez. Google, ortak tarayıcılar, özel durum tarayıcıları ve kullanıcı tarafından başlatılan getiriciler arasında ayrım yapar. Bu sınıflar, erişim kuralını değerlendirirken farklı ele alınmalıdır.
Googlebot otomatik içerik keşfi yapabilirken bir doğrulama aracı kullanıcının talebi üzerine tek bir dosyayı getirebilir. İstek sayısı artışını inceleyen ekip, önce hangi istemcinin hangi dosyaya eriştiğini belirler. Bütün kayıtları organik arama taraması başlığı altında toplamak sorunun kapsamını gizler.
Robots Kuralının Kapsamı
Ortak tarayıcılar otomatik taramada robots.txt kurallarına uyar. Özel durum tarayıcılarında ürünün çalışma biçimi ve yayıncıyla ilişkisi önemlidir; bütün istemcilerin yıldız grubuna aynı şekilde davranacağı varsayılmaz. Kullanıcı tarafından başlatılan getiriciler ise ayrı koşullarla çalışabilir. Örneğin AdsBot isteği ile Googlebot isteği aynı engelleme kararına otomatik olarak bağlanmaz. İncelemede kuralın hedeflediği kullanıcı aracısı ve gözlenen isteğin sınıfı yan yana yazılır. İstenen erişim politikasının hangi ürünü etkilediği açıklanır.
Kimlik Doğrulamasını Tamamlamak
User-Agent başlığı bir istemcinin kendisi hakkında bildirdiği addır; bu metin taklit edilebilir. DNS üzerinden ters sorgu ve ardından ileri sorgu yapmak, kaynak IP ile Google alan adının tutarlı olup olmadığını araştırmaya yarar. Büyük hacimde Google’ın yayımladığı ilgili IP aralıklarıyla eşleştirme kullanılabilir. Ortak tarayıcı listesiyle doğrulanmayan bir isteğin, kullanıcı getiricisi listesinde bulunabileceği de düşünülür. Liste seçimi istemci sınıfına dayanmalıdır. Adında Google geçmesi tek başına güvenlik duvarında sınırsız izin vermek için yeterli gerekçe değildir.
Google İstemcisinin Sınıfı
İsteği Tanıyın: İstemci adını ve istenen dosyayı eşleştirin. Kimliği Doğrulayın: İlgili Google IP veya DNS kontrolünü yapın. Kuralı Eşleyin: Erişim kararını doğru istemciye uygulayın. İstemci türlerini açıklayan şemadır. Şema kavramsal anlatımdır; gerçek panel ekranı, müşteri verisi veya yapılmış test sonucu değildir.
Sunucu Yükünü Doğru Yorumlamak
Google istemcileri farklı makinelerden ve birden fazla IP adresinden erişebilir. Bu yüzden tek bir sabit IP beklemek doğru olmaz. HTTP sürümü veya sıkıştırma tercihi de istemcinin teknik davranışıdır; daha yeni protokol kullanılması arama sıralaması avantajı olarak yorumlanmaz. Kurgusal incelemede ürün HTML isteği, görsel isteği ve doğrulama dosyası ayrı satırlarda incelenebilir. İsteklerin hangi kaynakları tükettiği bu ayrımdan sonra ölçülür. Yalnız toplam trafik miktarını görmek, hangi ürünün sınırlandırılması gerektiğini belirlemeye yetmez.
Erişim Kararını Kaydetmek
Kabul kaydı istemci sınıfını, doğrulama yöntemini, etkilenen yolu ve beklenen yanıtı açıklamalıdır. Bir doğrulama dosyası için verilen izin bütün ürün kataloğuna genişletilmez. Aynı şekilde olağan dışı bir isteği durdururken gerçek Googlebot erişiminin kesilip kesilmediği kontrol edilir. Sonuç, yalnız incelenen sınıftaki isteklerin kimliği ve erişim davranışı hakkında olmalıdır. Tarayıcı erişiminin sağlanması, sayfaların dizine alınacağını veya reklama uygun olacağını göstermez; bu değerlendirmeler ilgili ürünün kendi koşullarıyla ayrıca yapılır. Kontrol sonrasında aynı dosyaya yapılan yeni isteklerde sınıfın ve yanıtın korunduğu görülmelidir. Doğrulama yöntemi değiştiğinde eski IP listesine güvenerek kalıcı karar verilmez; yayımlanan aralıkların güncelliği de bakımın parçası olarak ele alınır.
Bu Yazıdaki Terimler 1 Kavram
Kısa açıklamaları burada okuyabilir, ayrıntılar için sözlüğe geçebilirsiniz.
- Domain Name System (DNS)
- DNS (Domain Name System, alan adı isimlendirme sistemi), harf ve rakamlardan oluşan web sitesi adlarını IP adreslerine çevirerek kullanıcıyı ilgili siteye yönlendiren sistemdir. Örneğin tarayıcıya yazılan alan adı, DNS sayesinde sitenin IP adresiyle eşleşir.
Bu Konuda Nasıl Destek Oluyoruz?
AdPix’in bu alandaki hizmet kapsamını ve çalışma sürecini inceleyin.
Google