一個收集電郵的測試，這個測試結果我也估錯了

這是一個什麼樣的收集電郵的測試？

剛剛收到 sumo 公司的電郵，說明了一個收集電郵的測試，他做了一個收集電郵的彈出式 banner 如下：

左邊為一個有圖片的彈出式 banner，右邊為純文字的彈出式 banner，兩個 banner 目的都是在收集電郵。

收集電郵的測試結果

結果令人覺得有一點驚喜，因為普遍我們覺得有圖片的會比較吸引，所以會基於這個邏輯覺得左邊彈出式banner 應該會收集電郵成效更好。

這個簡單的 A / B 測試顯示到左邊的 banner 轉化率為 4.31%，而右邊的 banner 轉化率為 6.19%，這個差距有高達 43% 的分別。

還有那些收集電郵的 A / B 測試?

例如，如果是做電箱的話，可以測試一下 10% 折扣或免運費夠吸引，如果是文章的標題的話，可以測試一下有數字的標題會較好或沒有數字的會較好。

究竟需要多少數據才能達到一個較準確的 A / B 測試？

根據 sumo 電郵的內容描述，只要兩個測試的方法，其中一個達到 500 個電郵收集的效果，這個數字會足夠代表一個較準確的決定。

由這個轉化率來看見，需要 9,000 個曝光次數，就能夠獲到大概 500 個電郵，所以這個曝光次數也是頗合理的。