運用假設檢定提升轉換率顯著性
如何透過AB測試進行假設檢定以優化轉換率
好啦 那我們就來聊聊這個假設檢定到底要怎麼玩齁
才能真的幫你把那個轉換率往上拉一波啦
講真的齁 很多人做A/B測試就只是把兩個版本丟出去看誰點擊率高
然後就結束了耶 啊這樣根本沒用到統計學的精髓啊
你那個數據就算有差異 也可能是運氣好而已啦
假設檢定就是要你數據分析的時候 去算算看這個差異到底夠不夠「顯著」啦
我跟你說啦 這就像你擲硬幣
連續三次正面你會覺得喔好像有點怪
但連續十次正面你才會真的覺得這硬幣有問題對吧
假設檢定就是在算這個「到底要多怪纔算真的有問題」的門檻啦
啊你一開始就要先設定好你的假設嘛
通常就是「零假設」：新版本跟舊版本沒差啦
然後「對立假設」：新版本真的有比較好喔
接著就要看你願意承受多少「誤判」的風險 這就是那個統計學裡面的顯著水準啦
一般業界都設5%啦 啊如果你很保守可以設嚴格一點
然後啊 你樣本數要夠大捏
不然很容易做出錯誤的商業決策
我朋友之前就犯過這個錯啊
他那個廣告素材才跑兩天 看到點擊率高一點點就急著把全部預算灌下去
結果跑到後面整個投資報酬率反而變超爛 被老闆電到飛起來...
主管：你這個數據根本還沒穩定啊
我朋友：我想說點擊率有高5%應該可以了...
主管：你樣本數才幾百個 那個誤差範圍可能都超過10%了啦
我朋友：......
啊所以說齁 數據管理真的很重要啦
你要跑夠多的流量 讓每個版本都有足夠的「受眾分析」基礎
不然那個跳出率啊點擊率的數字都會在那邊跳來跳去 根本看不準
再來齁 你要選對檢定的方法啦
最簡單的就是比例檢定 比那個轉換率嘛
但如果你要測的東西很多元 像那個介面設計同時改了好幾個地方
那你可能就要考慮多變量測試了 啊那個就更複雜一點
不過齁 我建議新手先從單純的A/B測試開始啦 一次只改一個操縱變因
這樣你才知道到底是哪個改動真的有用
而且啊 你那個行為召喚按鈕的顏色從藍色換成紅色
結果轉換率提升 你才能很肯定地說「喔就是顏色有用」
如果你同時改顏色又改文案又改位置 啊就算變好了你也不知道是哪個功勞啊 https://day-break.tw
說到這個 我想到之前幫一個電商做網站優化的經驗啦
他們那個結帳流程有夠長 我們就假設「如果把步驟從五頁縮到三頁 轉換率會提升」
然後就用拆分測試去跑 結果齁 你猜怎樣
跳出率反而變高 因為有些客人覺得步驟太少很沒安全感...
啊所以說 你的假設也不一定每次都對啦 假設驗證就是這樣 有時候會被打臉 https://day-break.tw
不過齁 被打臉也是學習啦 至少你知道客人真正的使用者經驗是怎樣
這纔是循證實踐的精神啊 不是靠感覺 是靠數據說話 https://day-break.tw
啊還有齁 你做假設檢定的時候 記得要把控制變因管好
不然你測試期間剛好遇到大節日 或是某個廣告投放管道突然爆量
那個外部因素會把你的數據搞得亂七八糟啦
最好是用隨機分組 而且測試時間要夠長 涵蓋不同時段
總而言之啦 你要把AB測試當成一個嚴謹的科學實驗來做啦
從提出假設、設計實驗、收集數據、到最後的統計學檢定
每一步都要扎實 這樣優化出來的轉換率纔是真的可信的
不然你只是在那邊瞎猜 浪費廣告預算又浪費時間而已
啊對了 現在很多數位行銷工具都有內建檢定功能啦
你也不用自己手算那些p值什麼的
但是齁 你至少要看得懂報告啦 知道什麼叫「統計顯著」
不要看到綠色箭頭往上就高潮 要看那個信心水準夠不夠高
最後再囉嗦一句啦 數位化轉型不是把東西放上網路就好
是要用這種數據分析的方法 不斷地測試跟優化啦
你的客戶體驗才會真的越來越好 那個廣告效益也才會真的出來啦
啊～大概就是這樣啦 希望有幫到你們齁
有問題可以再問啦 雖然我也不一定是對的 只是分享經驗而已...