vide創誌 文/馬克西

這次參加悠識主辦 A/B Testing 數據分析與決策研討，講師們緊扣著本次主題「A/B Testing」，透過數據的比較對產品、服務的增長瞄準產品有更改、差異的部分，成長的效果 ; 講師們傾囊相授自己在業界碰到的各種問題，提供良方讓大家都能帶著收穫，滿載而歸。

揭開研討會序幕的，是來自希平方的張修齊技術長，張技術長由淺入深，從 A/B Testing 的緣由、為何要使用到怎麼使用，逐一探討 ; 重要的莫過於在執行的過程中，團隊是否能在測試中能有具體、合乎邏輯的測試期望與假設 ; 沒有此重要的概念，猶如沈浮於數據海中而迷失了方向。

「實驗無效不代表失敗，沒有學到東西才是失敗！」財報狗行銷經理林威宇如是說。實驗的重要性，即是透過多次頻繁的測試，來去驗證並確立真能幫助產品成長的假設。想法、排序、測試、分析，這完整的流程讓測試能有更明確的階段可執行 ，而在每個階段，林經理都詳細且介紹可用的工具、指數、概念 ; 正如林經理所說，「實驗幫你了解你的使用者，進而優化你的產品！」

緊接著研討會下午場，由玩運彩創辦人吳憲達接力 ; 吳創辦人以幽默詼諧的講解方式，從自身玩運彩的案例出發，就算是一行文字、一個按鈕、一個 icon，都可能是提升轉換率的關鍵。透過 A/B testing，鎖定一小部分的使用者，為未來產品的新功能、改變先做了測試，避免正式上線後可能帶來的大災難。最重要的，盡量不要使用第三方 A/B Testing 工具，自己動手做，才是最好之道。

最後一位主講者，曾服務多家企業 GA 顧問，來自圖靈數位黃道育執行長。常見的 A/B Testing，如文案、廣告素材亦或者是 TA 測試，但怎麼觀察成效？曝光數、點擊數、點閱率、跳出率等都是可利用的指標 ; 整體的 A/B Testing 流程，從一開始分析現有數據開始，提出假設期望並建構實驗基礎，最後就是得出的結果討論。然而實驗總會有失敗的情況，正如黃執行長提點，持之以恆、嚴謹，才是在一次又一次的實驗中，走出 A/B Testing 的勝利之道。

在所有講者當中，玩運彩吳創辦人在講述其營運的心路歷程，其中有一句話令我印象深刻：「各位現在看到我們網站的介面，很醜對不對！」吳創辦人的內心話令全場噴笑。「我知道很醜，但只要介面一改，我們的老客戶就開始抱怨」，吳創辦人道出最重要的關鍵，使用者的習慣是難以改變的，就算改善是好的使用者可能會不習慣而放棄使用。從這個經驗來看，一個成熟的產品正如巨人般，移動或轉身都顯得笨拙、遲鈍 ; 因此從產品剛開始孵育時，就應該盡量完善產品，避免日後產品改版可能帶來的陣痛期。

今日研討會帶出了透過 AB Testing 來改善產品，但我覺得仍需要關注的是，「數據上的改善並非等同於使用經驗的提升」。數據的改善或許提升點擊率、轉換率，對於產品收益上會有正面的效益，然而在使用經驗並非有太多提升 ; 因此我們應以數據作為多方參考資源之一，正如講者所述，「測試的目標為何」才是關鍵，而非陷入工具論的迷思。唯有瞭解目標，才能運用工具幫助我們，達到目標。

本圖/文由「vide 創誌」授權刊登，非經同意不得任意轉載。
原文出處：A/B Testing 數據分析與決策 會後心得