Web Taraması (Crawling) Nedir?
Web taraması, arama motorlarının tarayıcı adı verilen otomatik programlarla bilinen ve yeni bulunan adresleri ziyaret edip sayfaların metin, görsel ve video içeriğini indirmesi işlemidir.
Diğer Adları: Crawling, Web Crawling
Web Taraması Nasıl Çalışır?
Web’de bütün sayfaların kaydını tutan merkezi bir liste yoktur. Arama motoru önce adresleri bulur; buna URL keşfi denir. Adresler daha önce ziyaret edilen sayfalardan, bu sayfalardaki bağlantılardan ve site sahibinin gönderdiği site haritalarından öğrenilir. Ardından tarayıcı adresi ziyaret eder, içeriği indirir ve sayfayı güncel bir tarayıcı gibi işleyerek JavaScript’i çalıştırır.
Google’ın arama tarayıcısının adı Googlebot’tur; robot, bot ve örümcek (spider) adları da bu tür programlar için kullanılır. Googlebot keşfettiği her adresi taramaz: hangi siteyi ne sıklıkla ve kaç sayfayla tarayacağına algoritmik olarak karar verir ve siteyi yormamak için hızını sunucunun yanıtlarına göre ayarlar. Örnek: Sunucu 500 hataları döndürmeye başlarsa tarama yavaşlar.
Web Taraması ile Dizine Ekleme Farkı
Google Arama üç aşamada çalışır: tarama, dizine ekleme ve sonuçların sunulması. Her sayfa her aşamayı geçmez. Tarama sayfanın indirilmesidir. Dizine ekleme ise sayfanın metninin, başlık etiketlerinin, görsellerinin ve videolarının çözümlenmesi, benzer sayfalar arasından kanonik adresin seçilmesi ve bilgilerin dizine kaydedilmesidir. Taranan her sayfa dizine eklenmez.
Google ne taramayı ne dizine eklemeyi ne de sonuçlarda göstermeyi garanti eder. Bir siteyi daha sık taramak ya da üst sıraya çıkarmak için ödeme de kabul etmez.
Web Taramasını Engelleyen Durumlar
- Sunucu hataları ve ağ sorunları
- Tarayıcının erişimini engelleyen robots.txt kuralları
- Yalnızca giriş yapılarak açılabilen sayfalar
- Hiçbir sayfadan bağlantı almayan ve site haritasında da yer almayan adresler
Örnek: Siteye yeni bir hizmet sayfası eklenir. Sayfa ana menüden ve ilgili hizmetler sayfasından bağlantı alır ve site haritasına yazılırsa tarayıcı adresi iki yoldan keşfedebilir. Taramanın gerçekleşip gerçekleşmediği Search Console’daki URL denetiminde görülür.
Web Taraması (Crawling) Hakkında Sık Sorulan Sorular
Web taraması ile dizine ekleme aynı şey mi?
Hayır. Tarama sayfanın indirilmesi, dizine ekleme ise içeriğin çözümlenip Google dizinine kaydedilmesidir. Taranan her sayfa dizine eklenmez.
Tarayıcı ile getirici arasındaki fark nedir?
Tarayıcı siteleri kendiliğinden keşfedip tarayan programdır. Getirici (fetcher) ise çoğunlukla bir kullanıcı adına tek bir istek yapar. Google’ın ortak tarayıcıları otomatik taramada robots.txt kurallarına her zaman uyar.