先把結論放前面：A/B 測試值不值錢，不在你測得多勤，而在你測得對不對。我在 ECPRO 每天翻電商站的流量、技術與轉換數據，看過太多品牌把 A/B 測試當成信仰，什麼都要測，卻半年拉不動業績。問題幾乎不在工具，而在紀律——樣本數還沒補滿就下結論、中途偷看數字看到暫時領先就喊停、一次改五個地方贏了也說不清是哪一個有效。這篇我想用媒體與情報的角度，把電商 A/B 測試從頭到尾講清楚：它能回答什麼、該測什麼、樣本數怎麼估、統計顯著到底在講什麼，以及那個最毒、最多人踩的窺視陷阱。
先想清楚：A/B 測試能回答的，其實是一個很窄的問題
很多人以為 A/B 測試會告訴你「怎麼做才對」。不會。它只回答一個很窄但很關鍵的問題：在你端出的這兩個版本之間，哪一個在某個指標上表現比較好。它不幫你想點子，它只驗證你的點子。這個分野很重要，因為它決定了你做測試的第一步永遠不是打開工具，而是先寫下一個明確的假設。
一個站得住腳的假設會同時交代三件事：你觀察到什麼問題、你打算做什麼改動、你預期哪個指標會動。舉例，「結帳頁太晚才揭露運費，導致最後一步流失，所以把免運門檻提前到購物車就顯示，結帳完成率會提升。」這句話裡有觀察、有動作、有可量化的目標。缺了任何一項，你的測試就只是在亂槍打鳥，就算跑出漂亮數字也無法解釋、無法複製。我在 ECPRO 看資料時的習慣也一樣：先有一個可以被推翻的說法，才值得投資源去驗證。
電商最值得測的四類東西
不是每個元素都值得排進測試佇列。以我長期觀察的站來分，真正回報高、又跑得動的測試點大致落在四類：
- 頁面層級的元素：商品主圖用情境圖還是去背白底、標題強調功能還是情感、CTA 文案寫「立即購買」還是「加入購物車」、價格旁要不要放刪除線原價。高頻、低成本、直接影響轉換。
- 流程與漏斗：最經典的是結帳流程——要不要強制註冊、表單欄位幾個、單頁結帳還是分步、要不要放進度條。漏斗每一層流失都是真金白銀，這裡的優化通常回報最高。
- 價格與促銷的呈現：注意測的不是「該不該降價」，而是「同樣的促銷怎麼呈現轉換比較好」。例如「滿千折百」對上「全站九折」哪個更打動人、免運門檻設多少、要不要加倒數計時。
- 行銷素材：廣告素材、EDM 主旨、推播文案。其中 EDM 主旨測試幾乎是所有電子報工具的標配，成本極低，值得每一封都做。
這裡有一條鐵律要先立起來：一次測試只改一個變因。如果你同時換了主圖、改了標題、又動了按鈕，就算 B 版贏了，你也不知道功勞歸誰，下次無法複製，更糟的是你不知道哪個改動其實在扯後腿。想一次驗證多個變因的組合，那是多變量測試，門檻與流量需求都高得多，中小型電商不建議一開始就碰。
樣本數：整篇最想讓你記住的一件事
A/B 測試做壞，最常見的原因不是工具用錯，而是樣本數不夠就下結論。這是我在數據裡反覆看到的同一種死法。
問題的本質是：轉換率本身就會自然波動。同一個版本，這一千個人來可能轉換 2.1%，下一千個人來可能只有 1.8%，中間的落差很多時候純粹是隨機。如果你 A 版收了三百個訪客成交 9 筆（3%），B 版收三百個成交 6 筆（2%），你能說 A 比 B 好嗎？不能。這差距小到完全可能是運氣，再多收幾百人數字可能就翻過來。要收多少樣本才夠，取決於三件事：
- 你現在的基準轉換率：基準越低，通常需要越多樣本，因為低轉換率下每一筆成交的權重都很大，雜訊也更明顯。
- 你想偵測的最小提升幅度（業界常叫 MDE，最小可偵測效果）：只在乎「提升 20% 以上才算數」，需要的樣本會遠少於「想抓出 5% 的微小差異」。想看得越細，樣本量要大很多。
- 你要的信賴水準與檢定力：一般電商實務把信賴水準抓 95%（顯著水準 0.05）、檢定力抓 80%，是相對通用的設定。
實務上你不必手算公式。網路上有大量免費的樣本數計算機，輸入基準轉換率、想偵測的提升幅度、信賴水準，它就會算出每組需要多少訪客，你再據此估這個測試大概要跑幾天。我強烈建議測試開始前就把樣本數與天數算好，因為這一步能一次擋掉後面兩個最致命的錯誤：提早偷看喊停、以及流量太小根本跑不出結果。
給你一個粗略的體感：基準轉換率 2%、想偵測 10% 的相對提升（也就是從 2% 升到 2.2%），每一組大概要數萬名訪客。很多中小型品牌聽到這個量會倒抽一口氣——這正是為什麼流量規模小的站，不該凡事都依賴 A/B 測試，這點後面再談。
統計顯著到底在講什麼？別被工具的綠燈騙走
大部分工具跑到後面會跳出「達到統計顯著」或「B 版獲勝，信心 95%」。很多人看到綠燈就開香檳。但你得真的懂它在說什麼，才不會被誤導。白話講，統計顯著的意思是：假設 A、B 兩版其實沒差別，那麼你現在觀察到「這麼大的差距」純屬巧合的機率有多低。所謂 95% 信賴水準、p 值小於 0.05，就是「如果兩版其實一樣，會偶然看到這種差距的機率不到 5%」。機率夠低，我們才比較有底氣說：這差距大概不是運氣，是真的有差。
但有三個關鍵觀念，是綠燈不會告訴你的：
- 統計顯著不等於商業上重要。流量大到爆時，就算兩版只差 0.1% 也可能跑出顯著。但 0.1% 的提升值不值得你為它改全站、扛工程成本？這是商業判斷，統計答不了。反過來，一個看起來很大的提升，若樣本太小沒達顯著，也不能當真。
- 還沒補滿預定樣本數前，別看那個顯著訊號。這是最毒的陷阱。你一邊跑一邊每天偷看，遲早某天 B 版會因隨機波動暫時「達到顯著」，你一興奮就喊停上線——但這個顯著是假的。統計上叫「窺視問題」，是電商 A/B 測試最常見的致命傷。
- 測試至少要跨完整週期。消費者行為有週間規律，平日與週末、發薪日前後、有沒有檔期，轉換率差很多。只跑了週二到週四的測試，就算補滿樣本也可能因沒涵蓋週末而失真。我的建議是至少跑滿一到兩個完整星期，把週期性洗掉。
工具怎麼選：先用手上既有的，不夠再找專門的
工具這件事，我的原則是先用你平台既有的內建功能，真的不夠用再去找專門工具。不同戰場對應的做法不一樣，可以對照著挑：
| 測試戰場 | 建議做法 | 要注意的點 |
|---|---|---|
| 電子報／EDM | 用電子報工具內建的主旨與內容 A/B | 門檻最低、最該天天做；小名單先測主旨，贏的再發大名單 |
| 廣告素材 | 用各大廣告平台自帶的實驗功能 | 讓系統公平分配曝光，通常不必另找工具 |
| 官網頁面與流程 | 導入專門的網站實驗工具 | 看分流是否乾淨、能否追到真正的轉換事件、顯著判讀是否透明 |
| 找問題（上游） | 漏斗分析、熱圖、使用者錄影 | 嚴格說不是 A/B 工具，但它是提假設的來源 |
要特別提醒：官網頁面與流程才是真正需要專門工具的地方。選的時候重點看三件事——分流是否乾淨（同一個訪客每次都看到同一版）、能不能追蹤到你真正在乎的轉換事件（不只是點擊，而是加入購物車、完成結帳）、以及它的顯著判讀是否透明。至於漏斗分析、熱圖與錄影這類工具別小看，它們是 A/B 測試的上游：你得先靠它們看出「哪裡有問題」，才知道該對什麼提假設。我自己看站的順序永遠是先用數據和錄影找問題、形成假設，再用 A/B 測試驗證，最後才上線。
一個匿名案例：把測試砍到剩一個，業績反而動了
分享一個去識別化的觀察。有個保養品類的品牌官網，團隊非常迷信 A/B 測試，幾乎什麼都測，但奇怪的是測了大半年業績沒起色。攤開後台一看問題很清楚：他們同時開著七八個測試在跑，流量被切得稀碎，沒有一個收得到足夠樣本；更糟的是，負責的人習慣每天早上盯後台，哪個版本暫時領先就直接上線，根本沒等跑完。這幾乎是窺視問題的教科書示範。
要修其實很簡單，但很反直覺：先把測試數量砍下來。不再貪心什麼都測，而是先用漏斗數據排優先順序，找出流失最嚴重的那一層——結果是結帳頁。然後一次只專心跑一個測試，開始前算好樣本數與天數，跑滿一個完整週期才看結果，期間不管數字多誘人都不提早喊停。第一個正式跑完的測試，是把強制註冊改成開放訪客結帳，因為樣本夠、跑滿週期、判讀乾淨，結果清楚顯示新版結帳完成率明顯提升且達統計顯著，這才放心全站上線。接著一個一個往下測：結帳表單精簡、免運門檻前置、商品頁補上真實評價，每個都用同樣的紀律跑。幾個月下來整體轉換率穩定往上，工具費用跟過去差不多——差別只在會不會用。這個案例讓我更確信：A/B 測試的價值不在測得勤，而在測得對、判讀得嚴。
流量不夠大的品牌，先別急著什麼都測
我在 ECPRO 看到的中小型電商，最該記住的一句話是：A/B 測試是給「有一定流量、想做精細優化」的階段用的工具，不是每個階段都該優先做的事。流量小的最大問題是樣本補不滿，跑很久也達不到顯著，甚至永遠跑不出結果。這種階段與其把資源砸在細微的 A/B 測試上，不如改用漏斗分析、熱圖與使用者錄影，直接找出明顯的大問題去修——這些大方向的改動通常不必 A/B 測試就能見效。把明顯的坑補起來，等流量規模上來，再用 A/B 測試做細緻微調，才是更務實的順序。
最後回到心態。A/B 測試不是用來證明「我是對的」，而是用來誠實面對「我可能是錯的」。願意讓數據推翻自己直覺的團隊，才會真的越做越準。把這條紀律鏈跑起來——先用數據找出真正的問題、提出明確假設、算好樣本數、跑滿完整週期、用嚴謹標準判讀顯著，最後才把贏的版本上線——你會發現每一次改版都更踏實。中間任何一環偷懶，得到的數字都可能在騙你。