E-posta kampanyalarında A/B testi, bir e-postanın yalnızca tek bir öğesi farklı olan iki sürümünü listenin benzer iki parçasına gönderip hangisinin önceden belirlenmiş hedefe daha iyi hizmet ettiğini ölçmektir. Doğru yapılan bir test; net bir hipotez, tek değişken, yeterli büyüklükte bir kitle ve baştan seçilmiş bir başarı ölçütü gerektirir.
Pek çok ekip A/B testini yalnızca iki konu satırı arasında seçim yapmanın bir yolu olarak görür. Oysa testin asıl değeri, tek tek kampanyaları kazanmaktan çok, kitlenizin neye tepki verdiğine dair birikimli bir bilgi oluşturmasıdır. Bu yazıda testleri tahmin yürütme aracı olmaktan çıkarıp sistemli bir öğrenme sürecine dönüştürmenin yollarını ele alıyoruz.
Her Test Bir Hipotezle Başlar
“Hangisi daha iyi, bakalım” yaklaşımıyla başlatılan testler, sonuç ne olursa olsun az şey öğretir. Bunun yerine her testi bir hipotezle başlatın. İyi bir hipotez üç parçadan oluşur: neyi değiştireceğinizi, bu değişikliğin hangi davranışı etkilemesini beklediğinizi ve bunun nedenini söyler.
Örneğin: “Buton metnini genel bir ifadeden ne kazanılacağını anlatan bir ifadeye çevirirsek tıklamalar artar; çünkü okur tıkladığında ne olacağını daha net anlar.” Bu hipotez test sonucunda doğrulansa da doğrulanmasa da size bir şey öğretir. Doğrulanırsa aynı ilkeyi diğer e-postalarınıza uygularsınız; doğrulanmazsa kitlenizin bu konuda farklı davrandığını öğrenmiş olursunuz.
Neleri Test Edebilirsiniz?
E-postanın hemen her öğesi test edilebilir, ancak her öğe aynı hedefi etkilemez. Aşağıdaki tablo hangi değişkenin hangi göstergeyle ilişkili olduğunu özetliyor:
| Değişken | Öncelikle etkilediği davranış | Dikkat edilecek nokta |
|---|---|---|
| Konu satırı ve ön başlık | Açılma | Açılma verisi gizlilik korumaları nedeniyle tek başına yanıltıcı olabilir |
| Gönderen adı | Açılma ve güven | Sık değiştirmek tanınırlığı zayıflatır |
| Buton metni ve yerleşimi | Tıklama | Aynı anda renk ve metni birlikte değiştirmeyin |
| İçerik uzunluğu ve düzeni | Tıklama ve dönüşüm | Farkın nedenini ayırt etmek zorlaşabilir |
| Teklif biçimi | Dönüşüm | Teklif farklılıkları kârlılığı da etkiler |
| Gönderim zamanı | Açılma ve tıklama | Sonuç, kitlenin günlük alışkanlığına bağlıdır |
Konu satırı testlerini tasarlarken hangi türlerin denenebileceğine dair fikirleri konu satırı yazımı rehberimizde bulabilirsiniz.
Hangi Testle Başlamalı?
Test fikirleri çoğu zaman uygulanabilecek olandan fazladır. Önceliklendirme yaparken üç soruyu birlikte değerlendirin: Bu değişiklik iş hedefini ne kadar etkileyebilir, sonucun doğru çıkacağına dair elimizde ne kadar ipucu var ve testi hazırlamak ne kadar emek gerektirir? Etkisi büyük, hazırlığı kolay ve arkasında gözleme dayalı bir gerekçe bulunan fikirler listenin başına geçmelidir. Örneğin okurların sık sık e-postanın ortasındaki ikincil bir bağlantıya tıkladığını görüyorsanız, ana butonun konumunu ya da metnini test etmek güçlü bir aday olur. Buna karşılık yalnızca merak edildiği için denenen küçük görsel ayrıntılar, kitle ve zaman harcayıp sınırlı bir öğrenme sağlar. Önceliklendirmeyi bir kez yapıp bırakmak yerine, her testin sonucunu gördükçe listeyi güncellemek, programın canlı kalmasını sağlar.
Tek Değişken Kuralı ve Test Tasarımı
A/B testinin temel kuralı, iki sürüm arasında yalnızca tek bir farkın bulunmasıdır. Konu satırını, görseli ve buton rengini aynı anda değiştirirseniz, kazanan sürümü bulsanız bile hangi değişikliğin fark yarattığını bilemezsiniz. Birden fazla öğeyi aynı anda incelemek isteyen ekipler için çok değişkenli testler vardır; ancak bunlar çok daha büyük bir kitle ve daha karmaşık bir analiz gerektirir.
İki grubun da birbirine benzer olması gerekir. Test gruplarını elle seçmek, örneğin bir grubu eski abonelerden, diğerini yenilerden oluşturmak, sonucu değişkenden değil kitle farkından kaynaklı hâle getirir. E-posta yazılımlarının sunduğu rastgele bölme özelliğini kullanmak bu riski ortadan kaldırır. Aynı şekilde iki sürümün aynı anda gönderilmesi de önemlidir; biri sabah, diğeri akşam gönderilirse ölçtüğünüz şey içerik farkı değil zamanlama farkı olur.
Kitle Büyüklüğü, Süre ve Güvenilirlik
Küçük gruplarda ortaya çıkan farklar çoğu zaman tesadüftür. Birkaç tıklamalık bir fark, bir sonraki gönderimde tamamen tersine dönebilir. Bu yüzden testin anlamlı bir sonuç vermesi için her iki sürümün de yeterli sayıda kişiye ulaşması gerekir. Pek çok e-posta aracı ve çevrimiçi hesaplayıcı, sonuçların istatistiksel olarak anlamlı olup olmadığını değerlendirmenize yardımcı olur; bu kontrolü atlamak, rastlantıyı kalıcı bir ders sanmanıza yol açabilir.
Test süresi de önemlidir. Aboneler e-postaları farklı zamanlarda okur; ilk birkaç saatteki tabloya bakarak kazanan ilan etmek, geç okuyan kitlenin davranışını hesaba katmamak demektir. Listeniz testin güvenilir olması için yeterince büyük değilse, tek bir kampanyada karar vermek yerine aynı hipotezi birkaç gönderim boyunca tekrar ederek biriken sonuçlara bakabilirsiniz.
Doğru Başarı Ölçütünü Seçmek
Testten önce kazananı neyin belirleyeceğine karar verin ve bu kararı sonradan değiştirmeyin. Sonuçlara baktıktan sonra işinize gelen göstergeyi seçmek, testin güvenilirliğini ortadan kaldırır.
Başarı ölçütü, değiştirdiğiniz öğenin gerçekten etkileyebileceği ve iş hedefinize en yakın gösterge olmalıdır. Açılma oranı uzun süre konu satırı testlerinin standart ölçütü oldu; ancak bazı e-posta uygulamalarının gizlilik özellikleri e-postaları otomatik olarak açılmış gibi gösterebildiği için bu veri artık tek başına güvenilir değildir. Mümkün olduğunda tıklama, sitede gerçekleşen dönüşüm ya da gelir gibi daha sağlam göstergeleri tercih edin. Hangi göstergenin neyi anlattığını e-posta pazarlama metrikleri yazımızda ayrıntılı ele aldık.
Adım Adım A/B Testi
- Hedefi belirleyin. Bu kampanyada iyileştirmek istediğiniz tek davranışı seçin.
- Hipotezi yazın. Değişikliği, beklenen etkiyi ve gerekçesini tek cümlede toplayın.
- Sürümleri hazırlayın. Yalnızca test edilen öğe farklı olacak şekilde iki e-posta oluşturun.
- Kitleyi rastgele bölün. Test grubunun büyüklüğünü ve kalan listeye kazanan sürümün gönderilip gönderilmeyeceğini belirleyin.
- Süreyi sabitleyin. Sonuçları değerlendireceğiniz zamanı önceden kararlaştırın.
- Sonucu değerlendirin. Farkın anlamlı olup olmadığını kontrol edin; anlamlı değilse bunu da bir sonuç olarak kaydedin.
- Öğrenileni kayda geçirin. Hipotezi, sonucu ve bundan sonra ne yapacağınızı bir test günlüğüne yazın.
Test Günlüğü Neden Önemli?
Aylar içinde yapılan onlarca testin sonuçları kayıt altına alınmazsa, ekip aynı soruları tekrar tekrar sorar ve aynı hataları yeniden yapar. Basit bir tablo bile yeterlidir: tarih, segment, hipotez, değişken, başarı ölçütü, sonuç ve alınan karar. Bu günlük zamanla markanıza özgü bir e-posta rehberine dönüşür ve yeni ekip üyelerinin hızla uyum sağlamasına yardımcı olur. E-postadan gelen ziyaretçinin sitedeki davranışını da test kapsamına almak isterseniz, dönüşüm optimizasyonu süreciyle e-posta testlerini birlikte planlamak tutarlı bir öğrenme zinciri kurar.
Sık Yapılan Hatalar
- Aynı anda birden fazla öğeyi değiştirmek: Kazananı bulursunuz ama nedenini öğrenemezsiniz.
- Testi erken bitirmek: İlk saatlerdeki tablo, tüm kitlenin davranışını yansıtmayabilir.
- Küçük farkları kesin sonuç saymak: Rastlantısal dalgalanmalar kalıcı bir ders değildir.
- Ölçütü sonradan seçmek: Sonuca göre gösterge değiştirmek, testi anlamsız kılar.
- Önemsiz ayrıntıları test etmek: Neredeyse fark edilmeyen değişiklikler, zaman ve kitle harcar ama öğretici sonuç üretmez.
- Sonuçları kaydetmemek: Öğrenilen bilgi kişilerin hafızasında kalır ve ekip değiştikçe kaybolur.
Sonuç
A/B testi, e-posta pazarlamasında sezgiyi veriyle sınayan disiplinli bir öğrenme yöntemidir. Her testi bir hipotezle başlatmak, tek değişkeni değiştirmek, yeterli kitle ve süre tanımak ve güvenilir bir başarı ölçütü seçmek, sonuçlarınıza güvenmenizi sağlar. Test programınızı birlikte kurgulamak isterseniz bizimle iletişime geçin.