NO IMAGE

?wx_fmt=gif&wxfrom=5&wx_lazy=1

本文來自作者 陳冠誠 在 GitChat 上分享 「如何用 A/B 測試驅動產品增長?」,「閱讀原文」檢視交流實錄。

「文末高能」

編輯 | 哈比

一、什麼是 A/B 測試?

隨著移動網際網路流量紅利、人口紅利的逐漸衰退,越來越多的產品運營開始關注資料驅動的精細化運營方法,期望通過精細化運營在一片紅海中繼續獲得確定的使用者增長,而 A/B 測試就是一種有效的精細化運營手段。

簡單來說,A/B 測試是一種用於提升 App/H5 產品轉化率、優化獲客成本的資料決策方法。

在對產品進行 A/B 測試時,我們可以為同一個優化目標(例如優化購買轉化率)制定兩個方案(比如兩個頁面),讓一部分使用者使用 A 方案,同時另一部分使用者使用 B 方案,統計並對比不同方案的轉化率、點選量、留存率等指標,以判斷不同方案的優劣並進行決策。

?wx_fmt=png&wxfrom=5&wx_lazy=1

2008 年奧巴馬競選美國總統的時候,有一個網際網路團隊專門負責競選相關活動的線上產品,例如奧巴馬的競選募捐網站。這個網站最核心的目標是:讓網站的訪客完成註冊並募捐競選資金。

這個團隊當時做了一個非常成功的實驗:通過對 6 個不同風格的主頁進行 AB 測試,最優的版本將網站註冊轉化率提升了 40.6%,而這 40.6% 的新增使用者直接帶來了額外的 5700 萬美金募捐資金!

?wx_fmt=png

對於網際網路產品來說,通過 A/B 測試提升點選轉化率,優化獲客成本已得到越來越多的關注。

以獲客環節為例:許多產品都會在百度、頭條等渠道投放落地頁廣告,以完成新使用者的註冊轉化,而落地頁效果的好壞,會直接影響轉化率和獲客成本。

以每月 200 萬投放費用為例,如果通過 A/B 測試將落地頁的註冊轉化率有效提升 20%,相當於每月能多獲得價值 40 萬推廣成本的新使用者。

那麼,產品什麼時候需要做 A/B 測試呢?一個 App 在做版本迭代更新的時候,所有的功能都需要做 A/B 測試嗎?

根據 Testin 合作的大量 A/B 測試客戶的實際經驗,一個產品在遇到 “影響大,選擇難” 問題的時候,是最適合做 AB 測試的。

以廣告投放的落地頁為例,隨著流量紅利的結束,落地頁的投放成本越來越高,落地頁轉化率效果的優劣影響也變得越來越大;

與此同時,不同設計風格、不同佈局的落地頁之中到底哪個轉化率最高,往往是一個困難的選擇題。

在 “影響大,選擇難” 這兩個條件都符合的情況下,落地頁的 A/B 測試也就成了一個必然選擇:因為 A/B 測試帶來的收益會遠高於 A/B 測試的實施成本。就像之前提到的奧巴馬競選網站首頁的 A/B 測試一樣,5700 萬美金的收入收益遠高於整個實驗的成本。

那如果我們在落地頁中不使用 A/B 測試,而是根據經驗,直接上一個落地頁呢?在回答這個問題之前,我們先來看看我們在做產品決策時,常面臨的一些挑戰:

  • 產品優化依靠經驗主義,不能保證新的產品版本一定會有業績提升;

  • 重大產品功能很難決策,不確定哪個方案效果最優;

  • “後驗” 成本高,如果改版失敗,業績損失無法挽回。

從這些挑戰中我們可以看到,如果我們在產品上線時不做 A/B 測試的話,一方面不能保證上線的版本轉化率等指標一定是最優的,其次還面臨著因產品改版失敗帶來的使用者流失、業績損失的風險。

實際上,隨著業務的發展,產品迭代體系的逐漸成熟,新功能上線時必須做 A/B 測試的緊迫性會越來越高,因為改版失敗的風險越來越大,而使用者的習慣也越來越難以捕捉,所以 A/B 測試的必要性會越來越高。

讓我們來看一個真實的例子。

下面這幅圖,反應的是微軟 Bing 搜尋引擎從 2008 年到 2015 年每週 A/B 測試頻率的增長情況。在 08 年 Bing 上線的初期,每週整個搜尋引擎大約做 20-30 個 A/B 測試實驗,而到 15 年之後,整個搜尋引擎每週的 A/B 測試實驗個數已經多達 400 個。

從 14 年到 15 年,Bing 移動端產品的 A/B 測試頻率也增長(圖中綠色曲線)到了每週近 100 個實驗。由此可以看到,隨著產品業務和使用者量的增長,對 A/B 測試的需求也會隨之增長,由資料來做科學決策的必要性也隨之提升。

?wx_fmt=png

二、A/B 測試最佳實踐

一個產品運營團隊,在實際推進 A/B 測試的時候,會遇到多方面的挑戰。從 Testin 實際合作的 AB 測試客戶來看,我們發現這些挑戰可以總結成三個方面的問題:人、業務和工具。

?wx_fmt=png

  1. 人:

    任何一個組織,核心要素都是人。在這個要素中,最重要的就是讓整個團隊的成員統一思想,想明白諸如 “什麼是 A/B 測試?”,“是否有必要在我們的產品運營中做 A/B 測試?”,“怎麼做 A/B 測試?”,“如何衡量 A/B 測試的價值和效果?” 等等相關的問題。

  2. 業務:

    在一個具體的業務場景中,我們最關注的問題往往是如何將 A/B 測試在業務中的價值最大化。

    這個時候,產品運營比較關心的問題是 “在已有的產品迭代流程中,如何低成本高效率地引入 A/B 測試?”,“如何在有限的資源投入情況下,最大化提高 A/B 測試的收益?”,“如何推進 A/B 測試在團隊中的應用?”,“A/B 測試的最佳實踐是什麼?”

  3. 工具:

    A/B 測試的工具有兩種選擇:自建 A/B 測試工具,或者與 Testin 雲測這樣專業的第三方 A/B 測試服務提供商合作。

    自建的 A/B 測試工具最大的好處是與企業業務關聯度高,這種方式比較適合有強大的資料分析技術研發實力的企業。

    而與 Testin AB 測試這樣的專業第三方服務企業合作,最大的好處是能高效率、低成本地開展 A/B 測試,把精力專注於自己的業務增長上。

當一個團隊具備以上三個要素,開始真正推進 A/B 測試時,最佳的實踐流程是怎麼樣的呢?

如果是初次接觸 A/B 測試的同學,可能會有一個誤解:“A/B 測試的效果好壞非常依賴靈光一閃的好想法好創意,如果創意好,A/B 測試的效果就好,如果創意不行,那麼 A/B 測試的效果就不行”。

這種理解最大的問題就在於,忽略了 A/B 測試其實是有一套完整的方法論和實踐流程的。在這套理論體系下,我們是可以穩定地通過 A/B 測試實現產品增長的。

?wx_fmt=png

1.    確立優化目標。在圖 5 的 A/B 測試流程體系中,首先要做的,就是確立想要優化的 “目標”。在這個過程中,我們建議大家一定要設立 “可量化的、可以落實到某一個具體功能點的、可實施的小目標”。

舉例來說,如果一個目標不好直接量化,例如 “將使用者滿意度提升 15%”,那麼就不好形成一個具體的 A/B 測試方案。同理,如果這個目標太大太寬泛,也不好落地。

一個可行的目標可以是 “通過優化註冊流程,將註冊轉化率提升 20%”,這個目標可以量化,而且足夠具體,可以在後續流程中形成一系列相關的 A/B 測試實驗方案。

2.    分析資料。通過資料分析,我們可以找到現有產品中可能存在的問題,只有先發現了某一個產品環節可能存在的問題,才好在後續流程中提出相應的優化方案,以優化這個環節的轉化率。

3.    提出想法。在這一步,我們可以針對資料分析發現的問題,針對性的提出產品優化的方案,例如優化流程以提高轉化率,優化設計和文案等等。一般來說,A/B 測試的想法會以 “假設” 的方式提出。

例如,“假設把註冊流程中的圖片校驗碼方式,改成簡訊校驗碼的方式,我們的註冊轉化率可能提升 10%”。

基於這個假設,我們會設計對應的 A/B 測試,並通過實驗的資料驗證這個假設是否成立。在後面的章節我們也會通過更多實際的 A/B 測試案例來跟大家分享一些相關經驗。

4.    重要性排序。在開發資源、版本排期、優先順序等因素的制約下,我們很可能不能對所有的想法進行實驗。

在這一步,最重要的目的就是根據重要性、潛在收益、開發成本等因素對所有想法進行優先順序的排序,並選擇最重要的幾個想法進行 A/B 測試。

5.    實施 A/B 測試並分析實驗結果。對於一個 A/B 測試來說,結果主要分成兩種:有效和無效。

無效的 A/B 測試實驗對於團隊來說,其實是非常寶貴的經驗,這個時候我們可以把這些無效的實驗轉化成團隊的經驗,避免以後再犯同樣的錯誤。

而對於有效的 A/B 測試來說,我們成功通過實驗提升了產品的轉化率,這時我們可以把優勝的版本正式推送給全部使用者,以實現產品使用者的有效增長。

6.    迭代整個流程,進行下一輪 A/B 測試。

在這個流程中,最重要的就是迭代、迭代再迭代。尤其是在剛開始推行 A/B 測試的時候,很容易遇到 “團隊成員經驗尚淺,不確定哪些產品功能點做 A/B 測試效果會比較明顯” 的問題,往往需要一些 quick wins 去建立團隊對 A/B 測試的信心。

這個時候,比較有效果的辦法有兩種:一種是針對一些轉化率相對較低、很有可能通過改版獲得提升的產品功能點,精心設計 A/B 測試實驗,一般都會有比較明顯的效果;

另一種是快速地做一批簡單的 A/B 測試實驗(例如修改關鍵按鈕的文案,顏色,圖示等),只要其中有一部分實驗取得了成功,就能很好的在團隊內部推進 A/B 測試的實施。

像 Testin AB 測試產品提供了業界首家針對 App/H5 的視覺化編輯功能,可以對按鈕、圖示等控制元件進行 “所見即所得” 的視覺化編輯,實現文案、圖示的實時修改,而且無需應用市場稽核,可以即時更新,非常適合快速地進行簡單的 A/B 測試實驗。

某國外大型網際網路公司分享過一個有意思的資料,在他們進行過的數千個 A/B 測試實驗中,只有大約 1/3 的實驗取得了正面提升。

這個資料說明了一個很有意思的現象:“產品經理的很多想法,其實不符合預期”,這也是為什麼需要通過 A/B 測試的真實實驗資料來進行產品決策的原因。

讀者福利:感興趣體驗 Testin AB 測試產品的同學,可以訪問 ab.testin.cn 申請價值 5000 元的免費試用:)

三、A/B 測試案例剖析

我們通過一些真實的案例,來分析下 A/B 測試的實際應用。

案例 1:App 註冊流程改版

?wx_fmt=png

讓我們先來看一個註冊流程的 A/B 測試。這個產品原始版本的註冊流程使用了圖片校驗碼的方式,但是註冊轉化率偏低。於是產品經理提出一個設想:如果把圖片校驗碼方式改成簡訊校驗碼的方式,有可能因為降低了使用者輸入的難度導致註冊轉化率的提升。

帶著這樣的假設,他們設計瞭如下圖所示兩個版本的註冊流程。

通過使用 Testin A/B 測試產品,分別為兩個版本分配了 20% 的使用者流量,通過一週左右的實驗觀察,資料顯示新版本(簡訊校驗碼)的註冊轉化率提升了接近 10%,並且 95% 置信區間是 [8%, 12%],說明這個實驗版本推廣到全量使用者之後,95% 的概率下至少會有 8% 到 12% 的提升。

基於這個實驗結果,產品經理選擇將新版本註冊流程推送給全部使用者,顯著提升了註冊轉化率。

案例 2:App 首頁大改版

首頁大改版對於一個產品來說,無疑滿足 “影響大,選擇難” 兩個必要條件。在下面這個 App 首頁改版的例子中,新版本的首頁佈局發生了多處改動:例如改動了 4 個子欄目、新增了一個 banner,更改了類目展示方式。

對於一個 App 來說,首頁的改版屬於非常重大的產品變動,稍有不慎就可能對現有使用者體驗造成很大的影響,如果改版失敗,會直接導致成交額、使用者點選轉化率、留存率的下降。

正因為影響重大,同時又不確定新版本是否能提升業績,所以 A/B 測試在這種場景下是非常必要的。

?wx_fmt=png

產品經理進行這樣的大改版,核心目的主要是為了提升首頁向二級頁面的點選轉化率,並最終促成更高的成交轉化。

在這個實驗中,因為有多個首頁模組發生了變動,我們需要為不同的首頁模組分別設定對應的指標,以對比兩個版本首頁向二級頁面的轉化率優劣。

通過 A/B 測試平臺將兩個版本使用者流量分別設定為 10%,並執行 2 周實驗之後,實驗資料顯示新版本首頁向二級頁面的整體點選量提升了 12% 以上。

通過 A/B 測試,產品經理成功驗證了新版本首頁達到了預期的優化目標,之後就可以將新版本釋出給全部使用者了。

四、總結

在這篇文章中,我們首先簡要介紹了 A/B 測試的概念,並分享了 A/B 測試的最佳實踐流程以及 A/B 測試的具體案例。

在實際的產品優化迭代過程中,A/B 測試會貫穿整個產品方案的設計、實驗、資料驗證等整個迭代流程。

在整個產品運營的增長過程當中,A/B 測試最核心的價值就是利用資料來支撐決策,以獲得產品使用者增長。

通過資料分析來發現產品增長的問題,再通過 A/B 測試來解決產品增長的問題,會成為越來越多企業進行產品使用者增長的不二選擇。

受限於篇幅,本文未深入討論 A/B 測試的一些相關知識,例如分流演算法、統計演算法、95% 置信區間、統計顯著性等等。如果對這些內容感興趣的讀者,歡迎加作者微信交流:threadingnow

參考資料

  • A/B 測試那些事:https://zhuanlan.zhihu.com/abtesting

  • Testin AB 測試官方部落格:http://ab.testin.cn/blog/

  • Exp Platform: http://exp-platform.com

近期熱文

哈佛研究:9個讓你變窮的理由

PHP 程式設計師危機

知名網際網路公司校招 Java 開發崗面試知識點解析

從零開始,搭建 AI 音箱 Alexa 語音服務

修改訂單金額!?0.01 元購買 iPhoneX?| Web談邏輯漏洞

讓你一場 Chat 學會 Git


?wx_fmt=jpeg

「閱讀原文」看交流實錄,你想知道的都在這裡