A/B Testi Nedir, Nasıl Yapılır? Adım Adım Deney Kurgusu

A/B testi, bir sayfanın, reklamın ya da e-postanın iki sürümünü ziyaretçileri rastgele ikiye bölerek aynı dönemde göstermek ve hangisinin önceden seçilmiş tek bir hedefte daha iyi sonuç verdiğini ölçmektir. Nasıl yapılacağının özeti: bir hipotez yazın, tek bir birincil metrik seçin, gereken ziyaretçi sayısını baştan hesaplayın, testi bu sayıya ulaşana kadar bozmadan çalıştırın ve sonucu yalnız yüzde farkına değil, güven aralığına bakarak okuyun.

Bu sıranın herhangi bir adımı atlandığında test yine bir "kazanan" gösterir; ama o kazanan çoğu zaman tesadüftür. Aşağıda her adımı ve en sık yapılan hataları anlatıyoruz.

A/B testi ne işe yarar?

A/B testi tahmini kanıtla değiştirir. "Butonu yeşil yaparsak daha çok tıklanır" ya da "fiyatı başlığa yazarsak form doldurma artar" gibi fikirler, gerçek ziyaretçi davranışıyla sınanır. İki grup aynı dönemde, aynı trafik kaynaklarından geldiği için aradaki fark büyük ölçüde yaptığınız değişikliğe bağlanabilir.

Üç yakın kavram sık karıştırılır:

• A/B/n testi: İkiden fazla sürüm aynı anda denenir. Her sürüm trafiği böldüğü için gereken toplam ziyaretçi artar.
• Çok değişkenli (multivariate) test: Başlık, görsel ve buton gibi birden çok öğenin kombinasyonları birlikte denenir. Çok yüksek trafik ister.
• Split URL testi: Sürümler farklı adreslerde durur; tamamen yeniden tasarlanmış bir sayfayı mevcut sayfayla karşılaştırmak için kullanılır.

A/B testi nasıl yapılır?

1. Sorunu veriyle bulun. Analitik hunisinde en çok kaybın olduğu adımı, ısı haritası ve oturum kayıtlarıyla takılma noktasını belirleyin. Isı haritası okumayı ısı haritası analizi yazımızda anlattık.
2. Hipotez yazın. "Ödeme sayfasında kargo ücretini ilk adımda gösterirsek, sürpriz maliyet kaygısı azalacağı için ödeme tamamlama oranı artar." İyi bir hipotez neyi, neden ve hangi metrikte değiştireceğinizi söyler.
3. Tek bir birincil metrik seçin. Satın alma, form gönderimi ya da ödeme tamamlama gibi. Tıklama ve sepete ekleme gibi metrikleri yalnız destekleyici olarak izleyin.
4. Gereken örneklemi hesaplayın. Mevcut dönüşüm oranınızı ve yakalamak istediğiniz en küçük farkı bir örneklem hesaplayıcısına girin. Çıkan sayı, testin ne kadar süreceğini de belirler.
5. Trafiği rastgele ve eşit bölün. Aynı ziyaretçinin her gelişinde aynı sürümü görmesi gerekir; test aracı bunu çerez ya da kullanıcı kimliğiyle sağlar.
6. Süreyi baştan sabitleyin. Hesaplanan örneklem dolana ve en az bir ya da iki tam hafta geçene kadar testi durdurmayın, ortasında sayfaya başka değişiklik yapmayın.
7. Sonucu belgeleyin. Kazanan da kaybeden de olsa hipotezi, sonucu ve öğrendiğinizi bir test günlüğüne yazın; bir sonraki hipotez buradan çıkar.

A/B testi için ne kadar trafik ve süre gerekir?

Gereken ziyaretçi sayısı dört şeye bağlıdır: mevcut dönüşüm oranı, yakalamak istediğiniz en küçük fark (minimum saptanabilir etki), istatistiksel güç ve anlamlılık düzeyi. Evan Miller'ın ücretsiz örneklem hesaplayıcısı tam olarak bu dört girdiyi ister.

Kural basit: dönüşüm oranınız düşükse ve aradığınız fark küçükse, çok ziyaretçi gerekir. Yüzde 3 dönüşüm oranlı bir sayfada yüzde 20'lik göreli bir artışı güvenilir biçimde görmek için standart hesapla her sürüm başına 10 binin üzerinde ziyaretçi gerekir. Aylık birkaç bin ziyaret alan bir sitede bu test aylarca sürer. Böyle durumlarda küçük renk değişiklikleri yerine teklifi, fiyat sunumunu ya da sayfa yapısını değiştiren cesur hipotezleri test etmek daha mantıklıdır; büyük farklar daha az veriyle görülür.

Süre konusunda hafta içi ve hafta sonu davranışı farklı olduğu için testi tam haftalar hâlinde çalıştırın. Kampanya dönemleri, bayramlar ve büyük indirim günleri sonucu çarpıtır; mümkünse bu dönemlerin dışında test edin.

Sonuç nasıl doğru okunur?

En sık hata, sonuçlara her gün bakıp anlamlılık göründüğü an testi durdurmaktır. Evan Miller'ın "How Not To Run an A/B Test" yazısındaki hesaba göre, sonuçları sürekli izleyip anlamlı görünür görünmez duran bir test, kâğıt üzerinde yüzde 5 olan yanlış alarm oranını yüzde 26,1'e kadar çıkarabilir. Çözüm, örneklemi baştan belirleyip ona sadık kalmaktır.

Sonucu okurken şunlara dikkat edin:

• Yüzde farkı tek başına yetmez. Güven aralığı sıfırı içeriyorsa, "B daha iyi" diyemezsiniz.
• Sonradan segment avı yapmayın. Genel sonuç anlamsızken "mobil kadın kullanıcılarda kazandı" gibi alt kırılımlar genellikle tesadüftür. Segmenti test öncesinde tanımladıysanız ayrı değerlendirin.
• Yenilik etkisini hesaba katın. Yeni tasarım ilk günlerde sadece farklı olduğu için ilgi görebilir; bu yüzden erken günlere değil, tüm döneme bakın.
• Anlamsız sonuç da sonuçtur. Değişikliğin fark yaratmadığını öğrenmek, yanlış bir yönde yatırım yapmayı önler.

A/B testi hangi araçla yapılır?

Google Optimize ve Optimize 360, 30 Eylül 2023'te kapatıldı. Google, Google Analytics ile entegre çalışan üçüncü taraf araçlara yöneldiğini açıkladı ve AB Tasty, Optimizely ve VWO'yu iş ortakları olarak listeledi. Bugün web sitesi testleri için bu tür bir araç ya da sitenizin altyapısına kurulan sunucu tarafı test çözümleri kullanılıyor.

Reklam tarafında platformların kendi deney araçları vardır. Google Ads'te özel denemelerle bir kampanyanın bütçesinin bir kısmını test sürümüne ayırabilirsiniz; Google, en iyi karşılaştırma için yüzde 50 bölmeyi öneriyor ve bir kampanya için beş deneme planlansa da aynı anda yalnız biri çalışabiliyor. E-postada konu satırı ve gönderim saati testleri için e-posta A/B testi yazımıza bakabilirsiniz.

A/B testi SEO'ya zarar verir mi?

Doğru kurulduğunda hayır. Google Search Central'ın A/B testi rehberi dört kural koyuyor: Googlebot'a ziyaretçilerden farklı içerik göstermeyin (cloaking), farklı adreste duran test sürümlerinde asıl sayfaya işaret eden rel="canonical" kullanın, yönlendirme gerekiyorsa kalıcı 301 yerine geçici 302 yönlendirme kullanın ve testi gerektiğinden uzun çalıştırmayın. Google, gereksiz uzun süren bir deneyi arama motorunu yanıltma girişimi olarak yorumlayabileceğini belirtiyor. Test bitince kazanan sürümü kalıcı hâle getirip test kodunu kaldırın.

Kısaca

• A/B testi iki sürümü rastgele bölünmüş trafikle aynı dönemde karşılaştırır.
• Hipotez ve tek birincil metrik olmadan başlamayın.
• Örneklemi baştan hesaplayın; sonuçlara bakıp erken durdurmayın.
• Düşük trafikte küçük değişiklikler yerine büyük farklar yaratabilecek hipotezleri test edin.
• Test sayfalarında canonical ve 302 kullanın, testi gereğinden uzun tutmayın.

Test planını ve ölçüm altyapısını birlikte kurmak isterseniz dönüşüm optimizasyonu hizmetimizi inceleyebilirsiniz.