Önce cevaplanacak test sorusunu seçin
Performans pazarlama planı içinde A/B testinin görevi, sıradaki bütçe kararını dar bir soruyla aydınlatmaktır. İki reklamın panelde yan yana bulunması tek başına kontrollü deney oluşturmaz. Dağıtım sistemi birine daha çok harcama verebilir; farklı tarihlerde çalışan reklamların rekabet koşulları da değişebilir. Önce hangi seçimi yapacağınızı ve hangi sonucu önemseyeceğinizi yazın.
Örnek olarak aynı ürünün kullanım kolaylığını anlatan video ile dayanıklılığını anlatan videoyu karşılaştırabilirsiniz. Fiyat, ürün sayfası, dönem ve satın alma olayı aynı tutulurken değişen unsur mesajdır. Video, indirim, ülke ve açılış sayfası birlikte değişirse sonuç bir paket karşılaştırması olur; farkı tek bir kreatif özelliğine bağlayamazsınız.
Test sorusu işte karşılığı bulunan bir karara bağlanmalıdır: sonraki üretimde hangi mesajı geliştireceğiz veya hangi ülkeye ek bütçe ayıracağız? Önemsiz bir renk ayrıntısını test etmek, stok problemi yüzünden satış kaybeden kampanyanın önceliği olmayabilir. Test listesi meraktan değil, kararı değiştirme ihtimalinden oluşmalıdır.
Ölçüm ve kampanya hazırlığını doğrulayın
Dönüşüm ölçümünün kontrolü, teste başlamadan önce tamamlanmalıdır. Satın alma kaydı iki kez sayılıyorsa veya bir varyasyonun bağlantısı bozuksa deney reklam fikrini ölçmez. Aynı olay tanımı, para birimi, raporlama dönemi ve ilişkilendirme ayarlarıyla ilerleyin. Reklam hedefini beklediğiniz müşteri eylemiyle ilişkilendirin; ucuz tıklama, otomatik olarak kârlı sipariş anlamına gelmez.
Kitle, ürün uygunluğu, hizmet bölgesi ve yerleşim sınırlarının iki seçenekte nasıl uygulandığını kaydedin. Geniş kitle otomatik olarak yanlış değildir; dar kitle de otomatik olarak nitelikli değildir. Mevcut müşteriler ve yeniden hedefleme kitlesi sonucun yorumunu değiştirebilir. Yeni müşteri sorusu soruyorsanız bunun raporda nasıl tanımlandığını açıklayın.
Teknik kontrol
Bağlantılar, mobil sayfa, ürün fiyatı ve stok, olay tetiklenmesi, varsa tarayıcı ve sunucu olaylarının tekilleştirilmesi.
Ticari kontrol
Teklifin reklamla sayfada aynı olması, gerçek teslimat koşulları, iade etkisi ve siparişi karşılayacak kapasite.
Deney kaydı
Varyasyon kimlikleri, değişen unsur, sabitler, başlangıç dönemi, ana metrik ve durdurma gerekçeleri.
OKUMADAN SONRAKİ ADIMA
Test planını netleştirin
Hedefinizi, mevcut ölçümü ve test kararını birlikte değerlendirecek bir kapsam hazırlayın.
Varyasyonları anlaşılır bir farkla üretin
Kreatif üretim briefi testte değişen unsuru ekip için görünür kılar. Bir mesaj testi yapıyorsanız iki videonun ürün gösterimi, teklif ve yönlendirmesi mümkün olduğunca karşılaştırılabilir olmalıdır. Otomatik görsel veya metin geliştirmeleri kullanılıyorsa bunları kayda alın; gösterilen materyal ile ekipte onaylanan dosya farklılaşabilir.
Bir varyasyonu kasıtlı olarak zayıflatmak öğrenme sağlamaz. Her seçenek okunabilir, doğru ve yayınlanabilir olmalıdır. İlk sahne, ürün gösterimi veya itiraz yanıtı farklı bir müşteri gerekçesini sınayabilir. Aynı fikrin neredeyse ayırt edilemeyen iki versiyonu ise karar için yeterli fark oluşturmayabilir.
Kreatif harcama payını da inceleyin. Çok az gösterilen bir reklamın sipariş üretmemesi, mesajın başarısızlığını kanıtlamaz. Aynı reklam setindeki otomatik dağıtımı operasyonel keşif olarak kullanabilirsiniz; sonucu kontrollü A/B testiyle aynı kesinlikte anlatmayın. Testi kopyalamak da tek başına karşılaştırılabilir kitle oluşturmaz.
Süreyi, bütçeyi ve müdahaleyi önceden kararlaştırın
Pazarlama kararlarının yönetimi, testin ne zaman okunacağını ve hangi durumda duracağını da kapsar. Her hesap için aynı gün sayısı veya bütçe yeterli değildir. Beklenen sonuç sıklığı, satış gecikmesi, haftanın günleri ve karşılaştırmak istediğiniz fark birlikte değerlendirilir. Veri azsa daha çok varyasyon açmak yerine soruyu daraltın.
Günlük oynaklığı kazanan ilan etmek için kullanmayın. Bununla birlikte bozuk ödeme akışı, yanlış fiyat veya harcama sınırının aşılması görüldüğünde testi sırf planlanan süre dolmadı diye sürdürmeyin. Teknik güvenlik müdahalesi ile performans kararı ayrı kaydedilmeli; değişen koşullar sonucun yorumuna eklenmelidir.
Başlangıç
Karar, ana metrik, kabul edilebilir kayıp, dönem ve sorumluyu yazın; erişilebilen Meta test araçlarının hesabınızdaki seçeneklerini kontrol edin.
Yayın
Teknik kontrolleri tamamlayın ve varyasyonları planlanan koşullarla başlatın. Test sırasında yeni indirim veya kitle değişikliği eklemeyin.
İzleme
Hata, harcama ve müşteri geri bildirimini kontrol edin. Gerekli müdahaleyi saat ve gerekçesiyle değişiklik günlüğüne işleyin.
Kapanış
Planlanan veri kapsamını, geciken sonuçları ve karşılaştırmanın sınırlarını okuyun; kararı ve sonraki soruyu kaydedin.
Kazananı iş sonucuyla birlikte yorumlayın
CAC, ROAS ve MER değerlendirmesi testin neden yalnızca tıklama oranıyla bitmemesi gerektiğini açıklar. Ana hedef siparişse dönüşüm maliyeti ve gelir önemli olabilir; fakat iade, marj ve yeni müşteri payı kararın ticari yönünü değiştirir. Lead testinde ucuz formun yanında satış ekibinin kabul ettiği başvurulara bakın.
Gözlenen fark, güven düzeyi ve işletme için anlamlı büyüklük ayrı kavramlardır. Az sonuçla oluşan geniş belirsizlikte doğru karar “henüz yeterli kanıt yok” olabilir. Panelin kazanan bildirimi de ölçülmeyen bir marj farkını veya müşteri niteliğini çözmez. Rapor, hangi veriyle hangi sonuca varıldığını açık tutmalıdır.
Sonuç test edilen döneme, kitleye ve uygulamaya aittir. Bir mesajın bu deneyde öne çıkması her ülkede veya daha yüksek bütçede aynı sonucu vereceği anlamına gelmez. Ölçekleme yeni bir dağıtım koşulu yaratır; uygulama sonrası hesap toplamını takip ederek kararın hâlâ işe yarayıp yaramadığını değerlendirin.
Öğrenmeyi sonraki üretime aktarın
Kullanılabilirlik incelemesi, reklam testinde fark edilmeyen sayfa sorunlarını ayrı bir çalışmayla açığa çıkarabilir. Reklam mesajı doğru olsa bile form, ürün bilgisi veya ödeme akışı tıkanabilir. Bu nedenle test günlüğünde kreatif bulgusu ile site sorunu ayrı tutulmalıdır.
Her deney için hipotez, dosyalar, ayarlar, veri kapsamı, karar ve sınırlılıkları saklayın. Artan sıklık, olumsuz yorum veya düşen dönüşüm tek başına otomatik ceza kanıtı değildir; bağlamla incelenecek sinyallerdir. Gereksiz kampanya çoğaltmayı azaltın, fakat sadeleştirmenin her hesapta maliyeti düşüreceğini vaat etmeyin.
Sonraki brief “B daha iyi” demekle yetinmemelidir. Hangi müşteri gerekçesinin araştırıldığı, neyin değiştiği ve yeni üretimde hangi unsurun korunacağı yazılmalıdır. Böylece test bütçesi yalnızca geçici bir panel karşılaştırmasına değil, tekrar kullanılabilir bir karar kaydına dönüşür.
KARAR VERMEDEN ÖNCE
Sık sorulan sorular
Aynı reklam setine iki kreatif eklemek A/B testi midir?
Bu kurulum alternatifleri keşfetmeye yardımcı olabilir; dağıtım eşit olmayabilir. Kontrollü karşılaştırma hedefliyorsanız erişilebilir test aracını, değişkenleri ve karşılaştırmanın sınırlarını ayrıca tanımlayın.
Test kaç gün sürmeli?
Evrensel süre yoktur. Sonuç sıklığı, satış gecikmesi ve dönem etkisiyle plan yapın; küçük örneklemde yalnızca takvim dolduğu için kazanan açıklamayın.
Her testte tek değişken mi olmalı?
Tek unsurun etkisini anlamak istiyorsanız diğer koşulları karşılaştırılabilir tutun. Birden fazla unsur değişirse sonucu paket olarak yorumlayın, farkı tek özelliğe bağlamayın.
Test sırasında bütçe değiştirilebilir mi?
Plan dışı değişiklik karşılaştırmayı etkileyebilir. Zorunlu teknik veya harcama müdahalesini kaydedin. Her bütçe değişikliğinin sabit bir yüzdeyle öğrenmeyi sıfırladığı varsayımını kullanmayın.
Kazanan reklamın bütçesi hemen büyütülmeli mi?
Önce ticari uygunluğu ve belirsizliği değerlendirin. Daha büyük bütçede dağıtım değişebileceği için uygulamayı izleyin; test sonucu aynı performansın garantisi değildir.
KAPSAMI BİRLİKTE BELİRLEYELİM
Test planını netleştirin
Hedefinizi, mevcut ölçümü ve test kararını birlikte değerlendirecek bir kapsam hazırlayın.
Kapsamı konuşalım