Bot Yönetimi Nedir?
Bot yönetimi, web sitesine gelen otomatik trafiği iyi ve kötü amaçlı olarak ayırt edip kötü amaçlı botları engelleyen, iyi botlara ise erişim tanıyan uygulamalar bütünüdür.
Bot Yönetimi Nasıl Yapılır?
Sitenin trafiğinin önemli bir bölümü insan değildir. Arama motoru botları, fiyat karşılaştırma botları ve izleme botları meşrudur; içerik kazıma, hesap ele geçirme, sahte kayıt ve kart deneme botları ise zararlıdır. Bot yönetimi, bunları davranış, cihaz parmak izi, IP itibarı ve istek hızı gibi sinyallerle ayırt eder.
Uygulama araçları şunlardır: CAPTCHA ve meydan okuma testleri, hız sınırlama, IP ve alan adı engelleme listeleri, davranış analizi ve bot koruma hizmetleri. Tek araç yeterli olmaz; katmanlı kurgu gerekir.
- İyi botlara izin verme: arama motoru botları
- Kötü botları engelleme veya meydan okuma
- Hız sınırlama ve davranış analizi
Bot Yönetimi Neden Önemlidir?
Kötü botlar e-ticarette çeşitli zararlar verir: kart test saldırıları, stok tutma botlarıyla sahte sepet doldurma, indirim kodu deneme ve fiyat kazıma. Bu trafik analitik verisini de bozar; gerçek olmayan ziyaretçi sayısı dönüşüm oranını yanıltıcı biçimde düşük gösterir.
Aşırı sıkı bot koruması ise gerçek müşteriyi ve meşru botları da engelleyebilir. Özellikle arama motoru botlarının engellenmesi SEO’ya zarar verir. Karar noktası, bot trafiğini önce izlemek, ardından zarar veren kalıplara göre kural yazmaktır. WAF ile birlikte kullanılır.
Bot trafiği analitikten filtrelenmeli ve rapor yorumlarında dikkate alınmalıdır.
Kural değişikliklerinden sonra meşru botlara ve gerçek müşterilere olumsuz etki olup olmadığı izlenmeli; arama motoru botunun siteyi taramaya devam ettiği Search Console tarama istatistikleriyle doğrulanmalıdır.
Bot Yönetiminde Sık Yapılan Hatalar
- Tüm botları engellemek. Arama motoru botu da engellenir.
- Yalnızca CAPTCHA’ya güvenmek. Gelişmiş botlar aşabilir.
- Giriş ve ödeme uç noktalarını korumamak. Hesap ve kart saldırıları artar.
- Bot trafiğini analitikten ayıklamamak. Raporlar yanıltıcı olur.
Bot Yönetiminde Kullanıcı Aracısı (User Agent) Nasıl Okunur?
Kullanıcı aracısı (user agent), isteği gönderen tarayıcının ya da botun kendini sunucuya tanıttığı HTTP başlığıdır; robots.txt kuralları da bu adlarla yazılır. Google, tarayıcılarının kendini üç yolla tanıttığını belirtir: user-agent başlığı, isteğin geldiği IP adresi ve bu IP’nin ters DNS adı.
Başlık tek başına kanıt sayılmaz; başka bir yazılım da kendini Googlebot diye tanıtabilir. Doğrulamada IP’nin ters DNS adının googlebot.com, google.com ya da googleusercontent.com ile bittiğine ve bu adın ileri DNS sorgusunda aynı IP’yi verdiğine bakılır. Google’ın genel tarayıcıları otomatik taramada robots.txt kurallarına uyar; kullanıcının başlattığı getirme araçları ise bu kuralları dikkate almaz.
Örnek: Sunucu günlüğünde Googlebot adıyla gelip ürün sayfalarını çok hızlı çeken istekler ters DNS denetiminden geçmiyorsa taklittir; engelleme bu IP’lere uygulanır, gerçek Googlebot etkilenmez.
Bot Yönetimi Hakkında Sık Sorulan Sorular
Bot yönetiminde gerçek Googlebot nasıl ayırt edilir?
User-agent başlığı kanıt sayılmaz; IP adresinin ters DNS adı googlebot.com, google.com ya da googleusercontent.com ile bitmeli ve ileri DNS sorgusu aynı IP’yi vermelidir. Denetimden geçmeyen Googlebot adlı istekler taklittir.
Her bot zararlı mıdır?
Hayır. Arama motoru ve izleme botları meşrudur; yalnızca kötü amaçlı botlar engellenmelidir.
Bot yönetimi nasıl uygulanır?
Davranış analizi, hız sınırlama, meydan okuma testleri ve bot koruma hizmetleri katmanlı biçimde uygulanır.