vide創誌 文/馬克西

這次參加悠識主辦 A/B Testing 數據分析與決策研討,講師們緊扣著本次主題「A/B Testing」,透過數據的比較對產品、服務的增長瞄準產品有更改、差異的部分,成長的效果 ; 講師們傾囊相授自己在業界碰到的各種問題,提供良方讓大家都能帶著收穫,滿載而歸。

揭開研討會序幕的,是來自希平方的張修齊技術長,張技術長由淺入深,從 A/B Testing 的緣由、為何要使用到怎麼使用,逐一探討 ; 重要的莫過於在執行的過程中,團隊是否能在測試中能有具體、合乎邏輯的測試期望與假設 ; 沒有此重要的概念,猶如沈浮於數據海中而迷失了方向。

「實驗無效不代表失敗,沒有學到東西才是失敗!」財報狗行銷經理林威宇如是說。實驗的重要性,即是透過多次頻繁的測試,來去驗證並確立真能幫助產品成長的假設。想法、排序、測試、分析,這完整的流程讓測試能有更明確的階段可執行 ,而在每個階段,林經理都詳細且介紹可用的工具、指數、概念 ; 正如林經理所說,「實驗幫你了解你的使用者,進而優化你的產品!」

緊接著研討會下午場,由玩運彩創辦人吳憲達接力 ; 吳創辦人以幽默詼諧的講解方式,從自身玩運彩的案例出發,就算是一行文字、一個按鈕、一個 icon,都可能是提升轉換率的關鍵。透過 A/B testing,鎖定一小部分的使用者,為未來產品的新功能、改變先做了測試,避免正式上線後可能帶來的大災難。最重要的,盡量不要使用第三方 A/B Testing 工具,自己動手做,才是最好之道。

最後一位主講者,曾服務多家企業 GA 顧問,來自圖靈數位黃道育執行長。常見的 A/B Testing,如文案、廣告素材亦或者是 TA 測試,但怎麼觀察成效?曝光數、點擊數、點閱率、跳出率等都是可利用的指標 ; 整體的 A/B Testing 流程,從一開始分析現有數據開始,提出假設期望並建構實驗基礎,最後就是得出的結果討論。然而實驗總會有失敗的情況,正如黃執行長提點,持之以恆、嚴謹,才是在一次又一次的實驗中,走出 A/B Testing 的勝利之道。

在所有講者當中,玩運彩吳創辦人在講述其營運的心路歷程,其中有一句話令我印象深刻:「各位現在看到我們網站的介面,很醜對不對!」吳創辦人的內心話令全場噴笑。「我知道很醜,但只要介面一改,我們的老客戶就開始抱怨」,吳創辦人道出最重要的關鍵,使用者的習慣是難以改變的,就算改善是好的使用者可能會不習慣而放棄使用。從這個經驗來看,一個成熟的產品正如巨人般,移動或轉身都顯得笨拙、遲鈍 ; 因此從產品剛開始孵育時,就應該盡量完善產品,避免日後產品改版可能帶來的陣痛期。

今日研討會帶出了透過 AB Testing 來改善產品,但我覺得仍需要關注的是,「數據上的改善並非等同於使用經驗的提升」。數據的改善或許提升點擊率、轉換率,對於產品收益上會有正面的效益,然而在使用經驗並非有太多提升 ; 因此我們應以數據作為多方參考資源之一,正如講者所述,「測試的目標為何」才是關鍵,而非陷入工具論的迷思。唯有瞭解目標,才能運用工具幫助我們,達到目標。

本圖/文由「vide 創誌」授權刊登,非經同意不得任意轉載。
原文出處:A/B Testing 數據分析與決策 會後心得