Log Dosyası Analizi Nedir?
Log dosyası analizi, web sunucusunun kayıt dosyalarında yer alan arama motoru botu isteklerinin incelenerek hangi sayfaların ne sıklıkla tarandığının ve hangi durum kodlarıyla karşılaşıldığının belirlenmesidir.
Log Dosyası Analizi Nasıl Yapılır?
Web sunucusu her isteği bir kayıt dosyasına yazar. Bir satırda isteği yapanın adresi, zaman, istenen URL, durum kodu ve istemci bilgisi (user-agent) bulunur. Arama motoru botlarının istekleri bu dosyadan ayıklanırsa botun siteyi gerçekte nasıl taradığı görülür. Arama motoru araçları taramaya dair özet bilgi verir; log ise ham ve eksiksiz kayıttır.
Bölüm tarama payı = (Bölümdeki bot isteği sayısı / Toplam bot isteği sayısı) x 100
Örnek: Bir haftalık kayıtta botun 50.000 isteğinin 20.000’i filtre parametreli URL’lere gitmişse bu bölümün tarama payı yüzde 40’tır. Bu bölüm ciro getirmiyorsa tarama kaynağının önemli kısmı boşa gidiyor demektir.
Analizde genellikle şu sorulara yanıt aranır:
- Bot en çok hangi bölümleri ve sayfaları tarıyor?
- Önemli sayfalar yeterince sık taranıyor mu, yoksa hiç taranmayanlar var mı?
- Bot hangi durum kodlarıyla karşılaşıyor: yönlendirme, hata, sunucu sorunu?
- Botun harcadığı kaynak parametreli ya da kopya URL’lere mi gidiyor?
Log Dosyası Analizi E-Ticarette Neden Önemlidir?
Büyük katalog sitelerinde tarama kaynağı sınırlıdır. Botun zamanını parametreli, kopya ya da hata veren URL’lerde harcaması, yeni ürün ve kategori sayfalarının geç keşfedilmesine yol açar. Log analizi bu israfı kanıtlar. Konunun genel çerçevesi için tarama bütçesi sayfasına bakılabilir.
Log, yönlendirme zincirlerini, 404 hatalarını ve gereksiz 301 yönlendirmelerini sayısal olarak gösterir. Parametreli adresler (sorgu dizisi) ve filtre sayfaları sorunluysa robots.txt ve iç bağlantı düzenlemeleri uygulanır. Ayrıca yapay zekâ tarayıcılarının siteyi ziyaret edip etmediği de kayıtlardan görülebilir.
Karar olarak önce yalnızca doğrulanmış arama motoru botlarının istekleri ayıklanır; çünkü sahte botlar da aynı istemci bilgisini taşıyabilir. Kayıtlar IP adresi içerir; bu veriler kişisel veri kapsamına girebileceği için saklama ve erişim kuralları ayrıca düzenlenmelidir. Bulgular Google Search Console verileriyle birlikte okunur.
Log Dosyası Analizinde Sık Yapılan Hatalar
- Sahte botları ayıklamamak. Analiz gerçek arama motoru davranışını yansıtmaz.
- Çok kısa bir dönemi incelemek. Tarama davranışı günlere ve olaylara göre değişir.
- Önemli sayfaları ayrı izlememek. Genel tablo içinde kritik sayfaların sorunu kaybolur.
- Kayıtları süresiz saklamak. IP adresleri nedeniyle veri koruma riski doğar.
Log Dosyası Analizi Hakkında Sık Sorulan Sorular
Log dosyası analizinde neden yalnızca doğrulanmış botlar incelenir?
Sahte botlar, arama motoru botuyla aynı istemci bilgisini (user-agent) taşıyabilir. Yalnızca bu bilgiye bakılarak ayrılan kayıtlar gerçek tarama davranışını göstermez; analiz doğrulanmış bot istekleriyle sınırlanır ve çıkan tablo Search Console verisiyle birlikte yorumlanır.
Log analizi ile Search Console tarama raporu arasındaki fark nedir?
Search Console özet ve örneklenmiş bilgi verir; log dosyası ise sunucuya gelen tüm istekleri ham haliyle içerir. Bu yüzden daha ayrıntılıdır.
Log dosyası analizi hangi siteler için gerekir?
Çok sayıda sayfası olan, filtre ve parametre üreten, tarama sorunu şüphesi bulunan büyük e-ticaret siteleri için özellikle yararlıdır.