Hello兄弟姐妹萌好，我是不想努力的小P。今天繼續為大家推薦一本好書：《A/B測試：創新始于試驗》，推薦指數三星半。（以下簡稱A/B測試）本書的作者是吆喝科技的創世人王曄，先后任職于NEC、微軟、谷歌等國際知名公司，任職期間負責P2P流媒體優化、P4P/ALTO、Google Adwords質量與移動廣告新產品等前沿項目的設計、開發及優化工作，積累了大量實驗創新的理論和實戰經驗。

我們如今看到的各種互聯網產品的改版以及創新，其背后都離不開試驗工作，其中被互聯網、移動互聯網行業廣泛應用的試驗方法是A/B測試。A/B測試的本質是試驗，作為一種新興的網頁優化方法，通過對比實驗增加轉化率和注冊率，帶來產品和運營的創新，以實現各項指標的增長，如今他更是增長黑客所必備的核心思維方式和工作方法。在流量日漸昂貴、精細化運營的大環境下，互聯網產品、運營和市場營銷人員主要具備A/B測試思維，以測試結果為依據做營銷決策，優化頁面，提高轉化率，迭代產品。

按照小P來劃分這本書的結構，可以簡單的分成；兩部分。第一部分主要講了試驗

以及A/B測試的重要性，其中穿插科普了統計學的相關知識；第二部分列舉了很多的A/B測試相關的試驗案例。

本書開篇從達爾文雀和現代醫學的角度剖析證明，生活處處是試驗，試驗能幫我們更清楚的了解世界。其實關于A/B測試的重要性小P相信不需要向大家描述很多，因為對本文感興趣的同學基本也已經認同了A/B測試的重要，那么我們首先來系統的定義下A/B測試。

在互聯網產品迭代實驗中的A/B測試是指：為了驗證一個新的產品交互設計、產品功能或者策略的效果，在同一時間段，給多組用戶（一般叫作對照組和試驗組，用戶的分組方法統計上隨機，使多組用戶在統計角度無差別）分別展示優化前（對照組）和優化后（試驗組，可以有多組）的產品交互設計、產品功能或者策略、算法，并通過數據分析，判斷優化前后的產品交互設計、產品功能或者策略、算法在一個或者多個評估指標上是否符合預期的一種試驗方法。

A/B測試包含三種特性：預測性、并行性和科學性。隨著數據驅動決策的思想在互聯網及傳統企業中的普及，很多人開始重視A/B測試。然而，有些人只是根據字面意義理解，并沒有產生更多的思考，我們來列一下“偽”A/B測試的集中常見形式：

1. 用戶分流不科學。比如在不同的應用市場發布不同版本的App，或者在不同的渠道發布不同版本的頁面，并進行用戶數據對比，都是不科學的。在這里最重要一點是：要得到科學可信的A/B測試試驗結果，就必須合理地進行正確的流量分割，保證試驗組和對照組里的用戶特征是一致的，并且都具有代表性，可以代表總體用戶特征。

2. 盲目分層。盲目分層是指所有的試驗都放在不同的分層去做，都用正交試驗的方法去做。

3. 不考慮試驗數據的統計有效性。針對數據統計本書花了一部分來介紹統計學原理方面的知識，有興趣的同學可以去看一下，還是很有收獲的。

舉個例子來說，2013年愛彼迎對搜索頁進行了改版設計。對于愛彼迎而言，搜索頁是

業務流程最基礎和重要的頁面。因此，能否準確地確定改版的效果是非常關鍵的。我們在下圖能看出搜索頁改版前后的變化；新版更多的強調了房源的圖片以及標注了房源所在位置的地圖。

大家單憑感覺來說，會不會覺得這是一次成功的改版呢？然而，結果在等待了很長的時

間后，A/B測試的結果反饋出新版并沒有帶來更多的預約。這當然是難以接受的，最后，愛彼迎的分析業務員發現，問題出現在了IE瀏覽器上：

除了IE瀏覽器外，其他主流的瀏覽器的表現都是優于舊版的。這個分析幫助愛彼迎發現了真正的問題：產品改進有很大價值，所以在修復相關的問題后，源于IE的數據也有了2%的增長，所以，驗證你所使用的測試系統是否如你所期望的一樣工作。如果A/B測試反饋的結果有問題或者過于理想，你應該仔細的檢查他。

那么A/B測試在日常工作中怎樣落地相應的作戰計劃呢？我們首先需要制定試驗的戰略，大致分為以下四步：

第1步，明確戰略目標。這一點和小P帶著大家簡讀《黑客增長》是差不多的，我們還是需要首先明確自己公司/產品的北極星指標。

第2步，制定戰略路線圖。制定北極星之后，各個團隊應該如何合理地執行北極星指標呢？這里我們引入一個概念——指標樹。指標樹就是講北極星指標進行合理的分解，拆解成各個業務可執行的具體指標，范例如下。在制定實施計劃時，我們需要注意每個A/B測試項。

目的試驗時間通常是一周到兩周。對于流量很大的項目，如果不考慮用戶的活躍時間特征，試驗周期可能會縮短到一兩天。而對于新功能上線的認證，為了排除用戶新奇效應、首因效應等干擾因素，一般建議試驗周期為一個月，甚至兩個月。

第3步，管理試驗項目。一般來說，管理項目的人員由產品人員、運營人員、市場人員、加上設計人員和開發人員組成，一個完整的A/B測試實施流程應如下圖所示：

第4步，搭建試驗的基礎設施。最基礎的設施包括兩個：分流采樣和實驗結果的統計分析。分流采樣就是科學地為A/B測試中的不同對照版本選擇和分配用戶流量，讓不同的用戶體驗不同的試驗方案。統計分析也需要我們具備置信區間估計、統計功效評估和實驗數據的實時性才能達到基本的科學性標準。

制定戰略過后，就是戰略的執行了。在執行的探索階段，我們主要的工作是收集信息和產生實驗想法。一般來說，我們常見的收集實驗渠道包括：業務背景、用戶心理學等理論、用戶行為數據分析、用戶調研、行業調研以及實驗歸檔。而在執行的驗證階段，就是一個迭代的過程，他幫助我們檢驗在探索階段中產生的那些用戶洞察是正確的，以及他們在現實場景中的最佳工作方式。

接下來，我們嘗試開始上手一個實驗?？傮w來說，A/B測試試驗的創建主要包含下面5個步驟：

第一步。收集數據，從數據中發現存在的問題和機會。

第二步?；谝鉀Q的問題設立試驗目標，如提升注冊轉化率或者新用戶留存率。

第三步。找到目標后，設計解決方案，提升試驗的假設，如“將注冊按鈕的文案從立即注冊改為獲取演示可以帶來更多的注冊轉化數量”。

第四步。進行A/B測試試驗部署和上線。

第五步。實驗開啟后定期觀察數據，通過顯著性的統計結果來判斷試驗結果，從而做出科學有效的決策。

創建過后，就正式開始我們的實施。

1. 新建試驗

2. SDK集成

3. 在線編輯試驗版本

4. 創建優化指標

5. 集成調試

6. 調整流量，運行試驗

7. 試驗數據判斷及結束試驗

這樣，我們就完整地實施了一次A/B測試。最后我們用書中一個在線教育的經典案

例來看一下，A/B測試是如何具體實操的。

案例：某在線教育企業的產品在移動端的推廣效率成為其市場和產品部門非常重視的核心指標之一。為了促進投放H5頁面的轉化率，進一步提高用戶的購買轉化，產品部門決定通過A/B測試找到確定的優化方案。

如下圖所示，我們可以看到兩種設計版本主要的改變在于講“60萬好老師”改為“名師1對1輔導”、將“預約免費試聽課”改為“尋找自己的1對1老師”、將“免費試聽”改為“快速預約”，其余元素基本保持不變。

在移動端進行廣告投放后的試驗結果非常有意思，在頁面按鈕的點擊轉化方面，原始版本比試驗版本高10%。而在后續的實際購買轉化方面，試驗版本則比原始版本高出9&。對于此試驗結果，需要結合自身企業發展階段來評估最優版本。如果處在產品剛起步階段，此時需要更多地拉新用戶，那么原始版本更好，因為能獲得更多潛在用戶的資料；如果產品發展到一定階段，更關注的是用戶付費轉化和客單價等指標，那么試驗版本更好，因為可以帶來更多訂單。