先講一個發生過無數次的場景：一場關於「網站首頁該怎麼改」的會議，老闆覺得主色要換成藍色比較高級，設計師堅持按鈕要留白才有質感，行銷主管說文案應該更有急迫感。吵了一個小時，最後拍板的，是會議室裡職位最高的那個人。但真正決定要不要買單的客人，一個都不在那間會議室裡。這就是為什麼那麼多改版，上線後業績不升反降。A/B 測試的價值，就是把「我覺得」這三個字，換成「數據顯示」。今天我不談理論，直接給你一套今天就能開始跑第一個實驗的實戰流程。
A/B 測試到底在測什麼：把直覺變成可驗證的賭注
A/B 測試的概念其實很單純：把訪客隨機分成兩群，A 群看原本的版本（對照組），B 群看你改過的版本（實驗組），其他條件全部一樣，然後看哪一版的目標指標更好。因為分流是隨機的、同時進行的，天氣、檔期、流量來源這些干擾因素會被平均掉，剩下的差異就能歸因到你改的那個東西。
關鍵在於，你不是在「比誰好看」，而是在驗證一個明確的商業假設。我用一條公式來寫每一個實驗：因為（觀察到的問題），我認為（改動）會讓（指標）提升，因為（原因）。舉例：「因為結帳頁跳出率高達六成，我認為把運費計算移到加入購物車前顯示，會讓結帳完成率提升，因為訪客不會在最後一步被隱藏運費嚇跑。」有了這樣一句話，你才知道要改什麼、要看哪個數字、贏了代表什麼。沒有假設的測試，只是在亂槍打鳥。
會贏的實驗，八成贏在「選對題目」
新手最常見的浪費，是拿寶貴的流量去測一些根本沒差的東西，例如按鈕圓角要不要大一點。你的流量是有限的，每一個實驗都在花這個預算，所以選題比執行更重要。我用一個簡單的「H.I.T.」原則來排優先順序：
- H（High traffic 高流量頁面）：優先測首頁、熱門商品頁、結帳流程這種每天很多人經過的地方。同樣的提升幅度，經過的人越多，賺回來的錢越多，實驗也越快跑出結果。
- I（Impact 影響力大的改動）：測那些真的會改變決策的東西——價格呈現方式、主圖、標題訴求、結帳步驟數，而不是無關痛癢的視覺微調。
- T（Testable 測得動的樣本）：如果一個頁面每週只有幾十個人看、幾筆訂單，那它根本累積不出可信的結果，這種頁面先別測。
把候選的改動點列出來，用這三項各打個分數，先做分數最高的。這樣你的每一次實驗，都花在最可能帶來回報的地方。
還有一個常被忽略的原則：一次只改一個變因。如果你同時換了主圖、又改了標題、又動了按鈕，就算 B 版贏了，你也永遠不知道到底是哪一個改動立了功，下次想複製都無從複製。想同時測很多元素，那是多變量測試（Multivariate），它需要的流量是 A/B 測試的好幾倍，小店根本養不起。老實地一次測一個，累積起來的知識反而最扎實。
樣本數與時間：最容易被忽略、卻最致命的一步
這是最多人栽跟頭的地方。你跑了三天，看到 B 版轉換率 3.2%、A 版 2.8%，就興奮地全站換成 B 版——結果業績沒動。為什麼？因為那個差異很可能只是隨機波動，根本沒有統計意義。就像丟十次硬幣出現六次正面，你不會因此說這枚硬幣有問題。
你需要在開跑前先估算「需要多少樣本」。這牽涉三個東西：目前的基準轉換率、你希望偵測到的最小提升幅度（MDE），以及信心水準（一般抓 95%）。粗略的直覺是：基準轉換率越低、你想偵測的提升越小，需要的樣本就越多。比方基準轉換率 2%、想偵測相對 10% 的提升，每一組往往需要數千到上萬名訪客。網路上有免費的樣本數計算器，開跑前花三分鐘算一下，就能避免自欺欺人。另外有兩個鐵則：一是至少跑滿一到兩個完整的週（週末和平日的購物行為差很多），二是達到預估樣本數之前，絕對不要偷看結果就提前收工，那會讓你被短期雜訊騙。
看懂結果：贏了、輸了、還是根本沒差
實驗跑完，結果只有三種。第一種是「顯著勝出」：B 版明確更好且達到統計顯著，恭喜，換上去，並把學到的洞察記下來。第二種是「顯著落敗」：B 版更差，這一樣是寶貴收穫——你花小錢避免了一次全站改版的災難。第三種最常見也最容易被誤解：「沒有顯著差異」。很多人以為這是失敗，其實它在告訴你「這個改動對客人來說沒差」，那就別浪費工程資源硬上，把精力挪去測更有影響力的東西。
還有幾個常被忽略的細節。要看的是整條漏斗，而不只是那一個按鈕的點擊率：有時候 B 版按鈕被點得更多，最終付款卻更少，那是把不會買的人騙進了下一步。也要留意「新客與舊客反應不同」「手機與電腦結果相反」這種區隔差異，必要時分開看。
破迷思：這些關於 A/B 測試的話，別再信了
迷思一：「小店流量太少，不用做 A/B 測試。」——流量少確實不適合測微小改動，但你更該用有限流量去測「影響力大」的大改動，或改用先後期對比、質化訪談來補。迷思二：「測一次就有標準答案。」——沒有永久的贏家，客群、檔期、市場都在變，去年的贏家今年可能就輸了，優化是持續的循環。迷思三：「贏了就代表我猜對原因。」——不一定，B 版贏了只證明它更好，不保證是你以為的那個理由，所以要記錄假設、持續累積，才會越測越準。
結尾劃重點
A/B 測試的本質，是把公司內部的權力遊戲，交還給真正付錢的客人來裁決。記住這套流程：先用「因為⋯我認為⋯會讓⋯因為⋯」寫出可驗證的假設，用 H.I.T. 原則選對高價值的題目，開跑前算好樣本數並跑滿完整週期，看整條漏斗而非單一點擊，最後把每一次的學習都記錄下來。別再開那種誰官大誰贏的改版會議了。當你養成「凡改動、先假設、再驗證」的習慣，你的網站就會沿著客人真實行為的方向，一次比一次更會賺錢。