自動化 A/B 測試,讓轉換率大幅提升

thumbnail

何謂 A/B 測試?

A/B 測試為一種隨機測試,透過變因的差異去判斷A和B版本何者較佳。

EDM為什麼要 A/B 測試?可以帶來什麼幫助?

【歐巴馬競選獲募款逾 6 億美金】

A/B 測試最廣為人知的 EDM 案例,
莫非是 2012 年第 44 任美國總統歐巴馬 ( Barack Obama ) 在競選時運用 EDM A/B 測試募款一事,
利用不同的信件主旨、寄件者名稱及信件內容的 EDM 做測試,分析哪個 EDM 較容易讓收件者願意捐款,
結果發現以蜜雪兒歐巴馬(Michelle Obama)的身分作為寄件者最能獲得募款,而此項測試也讓競選團隊成功募得超過 6 億美金!

圖片來源:紐約時報

 

從上述的成功案例得知 A/B 測試可以讓我們更了解收件者的喜好:

  • 寄件者名稱是否吸引收件者開信
  • 帶入會員姓名或 emoji 的主旨是否更加打動受眾
  • 在主旨及預覽文字充分顯示顧客在意的內容,可否增加開信、點擊興趣
  • 早上通勤時段還是午休發信會因為有較長時間閱讀,進而有較佳的點擊率

進而去優化下一次的 EDM 發送,開信率、點擊率提高了,轉換率就有更高的機會提升!

 

關於 A/B 測試,很容易踩到的地雷...

💣測試項目有超過一個以上的變因:

確保變因只有 1 項很重要!避免多個變因影響測試結果。
如同學生做實驗,會分成實驗組和控制組,實驗組就是在控制組上加入 1 項變因,
接著觀察實驗組產生的結果和其因果關係,若變數太多,會增加判斷結果的困難度。

你可以這樣做…
測試「主旨加入收件者姓名」是否可增加開信率,寄件者名稱、EDM 內容皆一致,維持 1 個變因-「加入姓名變數」!

【範例】
寄件者名稱:FLYDOVE服飾
主旨A:Hello %name% , 你該買一個禮物好好犒賞自己囉!🎁
主旨B:你該買一個禮物好好犒賞自己囉!🎁

 

💣時間太短或是樣本數不足:

測試需要時間收集收件者的回饋,時間太短可能會遇到下一個狀況「樣本數不足」,
樣本數量太少容易造成實驗偏頗且失準的觀察,就像有3個人跟你說「世界上有外星人,我真的有看到!」
你可能半信半疑,但若短時間內有 100 個人都跟你說「我有看到外星人!」,在你心中肯定約有7、8成會相信這件事情發生的真實性了!
所以當樣本數越大,收到的回饋越多,就能越增加其可信度。

你可以這樣做…
為加強測試準確度,上傳的收件者名單需大於 100 筆。
建議測試比例設定 30% 以上,測試時間設定 4 小時,
當30%測試版本完成寄發後 4 小時,系統會選出最佳版本並寄發給剩餘 70% 的名單。

【範例】
寄件者名稱:FLYDOVE服飾
主旨A:hey %name% , 你該買一個禮物好好犒賞自己囉!🎁
主旨B:你該買一個禮物好好犒賞自己囉!🎁
設定測試比例:隨機抽樣 30% 的名單進行A/B測試
測試版本完成寄發後 4 小時選出最佳版本寄發給剩餘比例的名單。

 

💣僅做一次測試就停止:

測試需多次且長期持續才能得到更顯著且具意義的結果,
根據每一次的測試變因去調整下一次的發送,當收集到的資料越來越多,
就能更往收件者的習慣、喜好前進,而測試變因數也會逐漸收斂。

你可以這樣做…
第一次測試「寄件者名稱」對收件者的吸引度,
可用公司、品牌名稱或是擬人化姓名、諧音稱呼來測試。

【範例】
寄件者名稱A:飛信保健食品
寄件者名稱B:營養師 Linda

第二次測試「主旨加入收件者姓名」是否可增加開信率。

【範例】
寄件者名稱:營養師 Linda
主旨A:Hello %name% , 你該買一個禮物好好犒賞自己囉!🎁
主旨B:你該買一個禮物好好犒賞自己囉!🎁

 

簡單三步驟設定

進入「電子郵件發送」勾選「A/B 測試項目」即可開始設定 A/B 測試囉!

Step1
選擇本次 EDM 要測試的項目:寄件者名稱 or 主旨&預覽文字(副標)

Step2
設定測試比例:假設上傳的名單有 10 萬筆,設定 30% 進行 A/B 測試,
就會有 3 萬筆名單被隨機拆為 1.5 萬發送A版本,1.5 萬發送B版本。

Step3
設定測試時間:在測試名單發送完畢後,多久完成測試,並將最佳版本(開信率較高的版本)自動寄發給剩餘名單。
設定測試時間時,也要多留意以往的熱門開信時段,避免因測試而錯過熱門開信時間喔~!

分析報表一目了然

系統自動完成 A/B 測試,也別忘了回頭檢視數據報表,
飛信不僅提供各項數據,還有分析圖表內的綜合分析與最佳版本分析,
讓客戶更清楚下一步要做什麼優化項目。

 

不私藏的進階用法

「想要自動化發送來測試熱門開信時間,如何設定呢? 」
「我的名單數量不多,希望可以直接對半測試」

【範例】上傳名單 10,000 筆,欲測試上午通勤時間和午休時段的開信差別

Step1
選擇項目:寄件者名稱 or 主旨&預覽文字(副標),記住原則「保持 1 個變因」,若想要測試開信時間,無論選擇哪一個項目都建議輸入相同內容。

Step2
設定測試比例:設定 100% 的名單,系統就會自動將名單隨機對半分開發送 A、B 版本。

Step3
設定測試時間:預約上午 8:30 發送,測試時間設定 4 小時。

系統發送流程:A版本的 5,000 筆名單於 08:30 開始發送,08:32 發送完畢,4 小時過後,B版本的 5,000 筆名單在 12:32 開始發送。

 

心動不如馬上行動,現在就到新版發送平台體驗:https://console2.flydove.net/

 

Back To Top