Çok Kollu Haydut (Multi-Armed Bandit) Nedir?
Çok kollu haydut, birden fazla sürümü denerken trafiği zaman içinde daha iyi sonuç veren sürüme doğru kaydıran ve bir deney ile kazanç arasında denge kuran test yöntemidir.
Çok Kollu Haydut Nasıl Çalışır?
Klasik A/B testi, trafiği sürümler arasında sabit oranda böler ve test bitene kadar bu oranı korur. Çok kollu haydut (multi-armed bandit) yaklaşımında ise algoritma sonuçları izler ve daha iyi görünen sürüme zamanla daha fazla trafik yönlendirir. Yine de bir miktar trafiği diğer sürümlere ayırmaya devam eder; bu keşif ve sömürü dengesidir.
Böylece kötü performanslı sürüm daha az ziyaretçiye gösterilir ve test süresince kayıp azalır. Yöntem reklam metni, e-posta konu satırı ve kampanya teklifi gibi kısa ömürlü ve sürekli değişen denemelerde sık kullanılır.
- Keşif: tüm sürümlere trafik ayırmak
- Sömürü: iyi sürüme daha çok trafik vermek
- Algoritma sonuçlara göre dağılımı otomatik günceller.
Çok Kollu Haydut Neden Önemlidir?
Kısa süreli kampanyalarda klasik testin sonucunu beklemek, kampanya bittikten sonra bilgi edinmek demektir. Haydut yaklaşımı, kampanya devam ederken daha başarılı sürüme kaymayı sağlar. Bu nedenle öğrenmeden çok anlık kazancın önemli olduğu durumlarda tercih edilir.
Dezavantajı, sonucun klasik anlamda istatistiksel anlamlılıkla yorumlanmasının zor olmasıdır. Trafik dağılımı değiştiği için sürümler eşit koşulda karşılaştırılmaz. Kalıcı tasarım kararları, yani sayfanın uzun süre kalacak sürümü için klasik test daha uygundur.
Karar noktası, amacın öğrenme mi yoksa kazancı en çoklamak mı olduğuna göre yöntemi seçmektir.
Birçok reklam ve e-posta aracı bu mantığı otomatik optimizasyon olarak sunar. Aracın nasıl çalıştığı bilinmeden kullanılırsa sonuçlar yanlış yorumlanabilir; bu yüzden hangi ölçütün optimize edildiği ve ne kadar keşif yapıldığı kontrol edilmelidir.
Çok Kollu Haydutta Sık Yapılan Hatalar
- Kalıcı tasarım kararı için kullanmak. Öğrenme güvenilir olmaz.
- Keşif payını sıfıra yakın tutmak. Algoritma erken kararla takılır.
- Çok az veriyle sonuç çıkarmak. Rastlantısal fark kazanan sanılır.
- Mevsimselliği dikkate almamak. Gün ve saate göre değişen davranış yanlış öğretir.
Çok Kollu Haydut Hakkında Sık Sorulan Sorular
Çok kollu haydut testinde keşif payı neden önemlidir?
Keşif payı, o an önde görünmeyen sürümlere ayrılmaya devam eden trafiktir. Pay sıfıra yaklaşırsa algoritma ilk verilere göre erken karar verip yanlış sürümde takılabilir; gün ve saate göre değişen davranış da yanlış öğrenmeye yol açar. Hazır araç kullanılıyorsa hangi ölçütün optimize edildiği ve keşfin oranı kontrol edilir.
Haydut testi A/B testinden farklı mıdır?
A/B testi trafiği sabit oranda böler; haydut testi oranı sonuçlara göre otomatik günceller.
Haydut testi ne zaman kullanılmalı?
Kısa ömürlü kampanya, reklam metni ve e-posta konu satırı gibi anlık kazancın önemli olduğu durumlarda kullanılır.