Tarama Bütçesinin İki Bileşeni
Google’ın bir ana makinede tarayabildiği ve taramak istediği URL’ler birlikte tarama bütçesini belirler. Sunucunun sağlayabildiği kapasite ile içeriğe yönelik tarama talebi farklı bileşenlerdir. Daha güçlü sunucu, talep yoksa kendiliğinden daha fazla tarama oluşturmaz.
Bu konu özellikle çok büyük veya sık değişen sitelerde ayrıntılı incelenir. Küçük mağazada her rapor dalgalanmasını bütçe sorunu olarak adlandırmak uygun değildir. Önce önemli sayfaların gerçekten geç bulunup bulunmadığı, sunucu erişimi ve güncel site haritası kontrol edilir. Sorunun büyüklüğü kanıtla belirlenmelidir.
Kapasiteyi Etkileyen Koşullar
Sunucu istikrarlı yanıt verdiğinde ve talep bulunduğunda Google tarama kapasitesini kendi sistemleriyle ayarlayabilir. Yavaş yanıt, sunucu hataları veya hız sınırlama sinyalleri kapasiteyi azaltabilir. Ancak her düşük tarama sayısı sunucu yetersizliğine işaret etmez. İnceleme aynı dönemin yanıt süreleriyle erişim sorunlarını karşılaştırır. Kurgusal bir katalogda kaynak tüketimi yüksek görseller ayrı, HTML yanıtları ayrı incelenebilir. Kullanılan ana makine de önemlidir; farklı hostların bütçeleri aynı tek havuz gibi yorumlanmaz. Kanıt olmadan barındırma paketi değişikliği önerilmez.
Envanterin Talebe Etkisi
Tarama Bütçesi değerlendirilirken Google’ın bildiği URL envanteri araştırılır. Aynı ürün veya listeyi tekrar sunan gereksiz adresler, tarama işini büyütebilir. Bu durum yalnız renk filtresiyle sınırlı değildir; oturum parametreleri, eski yollar, yinelenen içerikler ve bitmeyen adres üretimi de incelenir. İçeriğin güncelliği ve kullanıcıya sunduğu değer tarama talebiyle ilişkilidir. Teknik rapor, hangi adreslerin var olduğunu anlatırken içerik ekibi hangilerinin gerçekten yararlı olduğunu değerlendirir. Yalnız dosya sayısını azaltmak yerine gereksiz adreslerin nasıl üretildiği bulunmalıdır.
Kapasite, Talep ve URL Envanteri
Kapasiteyi Ölçün: Sunucu yanıtı ile erişim hatalarını inceleyin. Envanteri Ayırın: Gereksiz adres üretiminin kaynağını belirleyin. Talebi Yorumlayın: Düşük taramanın nedenini verilerle açıklayın. Tarama bileşenlerini açıklayan şemadır. Şema kavramsal anlatımdır; gerçek panel ekranı, müşteri verisi veya yapılmış test sonucu değildir.
Engelleme Her Zaman Yeniden Dağıtım Değildir
Bazı yolları robots.txt ile kapatmak, açılan kapasitenin önemli sayfalara otomatik aktarılacağını göstermez. Google kapasite sınırına zaten ulaşmıyorsa bu sonuç beklenmeyebilir. Noindex de taramayı durduran bir yöntem değildir; Google talimatı görmek için sayfayı isteyebilir. Kalıcı kaldırılan içerikte doğru hata yanıtı, yinelenen içerikte tutarlı birleştirme ve gereksiz tarama kapsamındaki yollar için uygun erişim kararı ayrı düşünülür. Bütün çözümleri tek engelleme kuralında toplamak, hem istenen içerikleri kapatabilir hem de gerçek envanter sorununu gizleyebilir.
Kararı Ölçülebilir Hale Getirmek
Kabul kaydı sorunun kapasite, talep veya envanter tarafında olduğuna ilişkin bulguları içerir. Hangi gereksiz URL grubunun nasıl azaltıldığı, önemli sayfaların erişiminin korunup korunmadığı ve sunucu yanıtlarının durumu gösterilir. Önbellek veya yönlendirme iyileştirmesi yapıldıysa etkilediği kaynak grubu belirtilir. Sonraki incelemede aynı kapsam kullanılır. Tarama artışı, bütün sayfaların dizine alınması veya sıralama yükselmesiyle eş tutulmaz. Amaç önemli içeriğin bulunmasını ve kaynakların verimli kullanılmasını desteklemektir; belirli sayıda günlük tarama sözü teknik kararın parçası değildir.
Bu Yazıdaki Terimler 1 Kavram
Kısa açıklamaları burada okuyabilir, ayrıntılar için sözlüğe geçebilirsiniz.
- Hız Sınırlama (Rate Limiting)
- Hız sınırlama, bir kullanıcı ya da IP adresinin belirli sürede gönderebileceği istek sayısını sınırlayarak kötüye kullanımı ve aşırı yüklenmeyi önleyen güvenlik ve altyapı yöntemidir.
Bu Konuda Nasıl Destek Oluyoruz?
AdPix’in bu alandaki hizmet kapsamını ve çalışma sürecini inceleyin.
Google