Örneklem Oranı Uyumsuzluğu (Sample Ratio Mismatch) Nedir?

Bir mağaza ürün sayfasındaki taksit bilgisini iki farklı tasarımla göstermek için ziyaretçileri eşit olasılıkla iki kola atıyor. Sonuç raporunda üç bin kullanıcı bir tarafta, iki bin kullanıcı diğer tarafta görünüyorsa önce bu farkın beklenen rastlantısal değişkenlikle uyumu değerlendirilir. Elli kullanıcıya karşı kırk dokuz kullanıcı görmek ile binlerce kişilik kalıcı ayrışma aynı yorumu gerektirmez. Karşılaştırılan sayılar, baştan belirlenen atama birimi ve planlanan oranla aynı kapsamda olmalıdır.

Deneyde kullanıcılar eşit dağıtılsa bile bir tasarım gerçekten daha çok kişinin satın almasına yol açabilir. Yalnızca sipariş tamamlayanları iki kola ayırıp sayıların eşit olmamasını dağıtım hatası diye yorumlamak bu yüzden yanlıştır. Sorulacak ilk soru, atanan ve ölçülmeye uygun kullanıcıların başlangıçta hangi gruba girdiğidir. Bir tasarımda ölçüm olayı daha geç gönderiliyorsa sayfa yüklenmeden çıkan kullanıcılar rapora girmeyebilir. O zaman deney sonuçları yalnız geride kalan grubu temsil eder.

Mağaza deneye katılım kaydıyla analiz tablosunda görünen sayıları gün ve cihaz ailesi düzeyinde eşleyebilir. Örneğin telefonda yalnız bir tasarımın kayıtları eksikse yeni tasarımı satışta başarılı ilan etmeden önce bu eksikliğin nedeni bulunmalıdır. Kontrole bot filtreleri, birleştirme işlemleri ve sayfa yönlendirmeleri de dahil edilir. Uyumsuzluk tek başına belirli bir hatayı teşhis etmez. Bununla birlikte açıklanmamış uyumsuzluk, görünen dönüşüm farkını ticari karara taşımak için zayıf bir dayanak bırakır.

Düzeltmeden sonra yeni bir gözlem aralığı açmak yararlı olabilir. Sorunlu dönemde kaç kişinin eksik kaldığı bilinmiyorsa o dönemi sessizce sağlam dönemle birleştirmeyin.