İstatistiksel Anlamlılık Nedir?
İstatistiksel anlamlılık, bir testte gözlenen farkın tesadüf eseri olmama olasılığını ifade eden ve A/B testi sonuçlarının güvenilirliğini değerlendirmede kullanılan ölçüttür.
İstatistiksel Anlamlılık Nasıl Çalışır?
A/B testinde iki sürüm karşılaştırılır; ancak gözlenen fark tesadüf de olabilir. İstatistiksel anlamlılık, farkın rastlantıdan büyük olup olmadığını değerlendirir. Testten önce bir anlamlılık düzeyi (alfa) belirlenir, çoğunlukla yüzde 5; bu durumda sonuç yüzde 95 güven düzeyiyle yorumlanır. Test sonunda hesaplanan p-değeri alfa’dan küçükse fark istatistiksel olarak anlamlı kabul edilir.
Örnek (varsayımsal): A sürümünde 5.000 ziyaretçinin 150’si (yüzde 3), B sürümünde 5.000 ziyaretçinin 190’ı (yüzde 3,8) satın almışsa B’nin daha iyi göründüğü söylenebilir; ancak bu farkın anlamlı olup olmadığı örneklem büyüklüğü ve varyansa göre hesaplanan bir testle belirlenir. Hesap için çevrimiçi test araçları ya da deney platformları kullanılır.
Güvenilir sonuç için temel kurallar:
- Testi başlatmadan önce örneklem büyüklüğünü ve süreyi belirlemek.
- Test bitmeden sonuca bakıp erken durdurmamak.
- Hafta içi ve hafta sonu döngüsünü kapsayacak şekilde en az bir ya da iki tam hafta çalıştırmak.
- Aynı anda çok sayıda metriğe bakıp “anlamlı olanı” seçmemek.
İstatistiksel Anlamlılık E-Ticarette Neden Önemlidir?
Anlamlılığı gözetmeyen test, tesadüfi farkla kalıcı karar vermeye yol açar: bir sürüm birkaç gün önde göründüğü için kalıcı kılınır, sonra beklenen artış görülmez. Karar noktası, testin ne kadar süre çalışacağı ve hangi etkinin değer taşıdığıdır; çok küçük farkları yakalamak için büyük trafik gerekir ve düşük trafikli sitelerde bu mümkün olmayabilir. Bu durumda büyük ve belirgin değişiklikleri test etmek ya da nitel verilerle (ısı haritası, kullanıcı görüşmesi) ilerlemek daha gerçekçidir.
İstatistiksel anlamlılık, farkın iş açısından önemli olduğunu göstermez; küçük ama anlamlı bir fark ticari olarak değersiz olabilir. Test planlama ve sonuç yorumlama için A/B testi ve CRO sayfalarına bakılabilir.
Sonuçlar kaydedilir; kaybeden sürümlerin öğrettikleri sonraki testlerin hipotezini besler.
İstatistiksel Anlamlılıkta Sık Yapılan Hatalar
- Testi erken durdurmak. Tesadüfi fark kalıcı karar olur.
- Çok kısa süre çalıştırmak. Hafta içi ve sonu döngüsü yakalanmaz.
- Çok metriğe bakıp kazananı seçmek. Rastlantısal anlamlılık çıkma olasılığı artar.
- Anlamlılığı iş değeriyle karıştırmak. Küçük ama anlamsız fark uygulanır.
İstatistiksel Anlamlılık Hakkında Sık Sorulan Sorular
İstatistiksel anlamlılık p-değeriyle nasıl yorumlanır?
Testten önce bir anlamlılık düzeyi (alfa) seçilir, çoğunlukla %5; sonuç bu durumda %95 güven düzeyiyle okunur. Test sonunda hesaplanan p-değeri alfadan küçükse fark anlamlı kabul edilir. Anlamlı bulunan bir fark yine de iş açısından küçük ve ticari olarak değersiz olabilir.
A/B testi ne kadar sürmelidir?
Önceden hesaplanan örneklem büyüklüğüne ulaşana kadar ve en az bir ya da iki tam hafta çalıştırılmalıdır. Erken durdurmak sonucu güvenilmez kılar.