注意:這是本文的第二部分。你可以在這里閱讀第一部分。

分析測試結果

新穎性和首位效應

當產品發生變化時，人們對它的反應會有所不同。有些人習慣于產品的工作方式，不愿意改變。這被稱為首要效應或改變厭惡。其他人可能會歡迎變化，一個新功能吸引他們更多地使用產品。這被稱為新奇效應。然而，這兩種影響都不會持續很長時間，因為人們的行為在一定時間后會穩定下來。如果a/B測試有較大或較小的初始效應，這可能是由于新的或首要效應。這是實踐中常見的問題，很多面試問題都是關于這個話題的。一個面試樣本問題是：

我們在一個新特性上運行了一個a/B測試，測試成功了，所以我們向所有用戶啟動了這個更改。然而，在推出該特性一周后，我們發現治療效果迅速下降。怎么回事？

答案是新奇效應。隨著時間的推移，隨著新鮮感的消退，重復使用會減少，所以我們觀察到治療效果下降。

現在您理解了新奇和首要效應，我們如何解決潛在的問題？這是面試中典型的跟進問題。

處理這種影響的一個方法是完全排除那些影響的可能性。我們可以只對首次用戶運行測試，因為新奇效應和首要效應顯然不會影響這類用戶。如果我們已經進行了測試，并且我們想要分析是否有新穎性或首要效應，我們可以（1）將控制組新用戶的結果與治療組的結果進行比較，以評估新穎性效應（2）將第一次用戶的結果與治療組現有用戶的結果進行比較，以獲得新穎性或首要效應影響的實際估計。

多重測試問題

在A/B試驗的最簡單形式中，有兩種變體：對照(A)和治療(B)。有時，我們運行一個測試與多個變體，看看哪一個是最好的所有功能。當我們要測試一個按鈕的多種顏色或測試不同的主頁時，可能會發生這種情況。然后我們會有不止一個治療組。在這種情況下，我們不應該簡單地使用0.05的相同顯著性水平來決定檢驗是否顯著，因為我們處理的是2個以上的變異體，錯誤發現的概率增加。例如，如果我們有3個治療組與對照組進行比較，觀察到至少1個假陽性的機會是多少（假設我們的顯著性水平是0.05）？

我們可以得到沒有假陽性的概率（假設組是獨立的），

PR(FP=0)=0.95*0.95*0.95=0.857

然后獲得至少有1個假陽性的概率

Pr(FP>=1)=1-Pr(FP=0)=0.143

只有3個治療組（4個變異），假陽性（或I型錯誤）的概率超過14%。這稱為“多重測試”問題。一個面試問題是

我們正在運行一個測試與10個變體，嘗試我們的登陸頁面的不同版本。1個處理獲勝，P值小于0.05。你能改變嗎？

答案是否定的，因為多重測試問題。有幾種方法來接近它。一種常用的方法是Bonferroni校正。它將顯著性水平0.05除以試驗次數。對于面試問題，既然我們測量了10個測試，那么測試的顯著性水平應該是0.05除以10等于0.005?；旧?，只有當檢驗的p值小于0.005時，我們才聲稱檢驗是顯著的。Bonferroni校正的缺點是它往往過于保守。

另一種方法是控制錯誤發現率(FDR):

fdr=e[#假陽性/#拒絕]

它度量了所有對零假設的拒絕，即所有你聲明有統計上顯著差異的度量。他們中有多少人有真正的差異，而有多少人是假陽性。只有當您有大量的度量，比如數百個時，這才有意義。假設我們有200個指標，并將FDR上限設為0.05。這意味著我們可以看到5次假陽性。我們每次都會在那200個指標中觀察到至少10個假陽性。

做決定

理想情況下，我們看到了實際的顯著治療結果，我們可以考慮向所有用戶推出該功能。但有時，我們會看到相互矛盾的結果，例如一個指標上升而另一個下降，因此我們需要做出輸贏的權衡。一個面試樣本問題是：

運行測試后，您會看到所需的指標，例如點擊率在上升，而印象數在下降。你會怎么做決定？

在現實中，產品推出決策可能涉及到很多因素，如實施的復雜性、項目管理的努力、客戶支持成本、維護成本、機會成本等。

在采訪中，我們可以提供解決方案的簡化版本，重點放在實驗的當前目標上。它是為了最大限度地參與，保留，收入，還是其他什么？此外，我們希望量化負面影響，即非目標度量中的負面變化，以幫助我們做出決定。例如，如果收入是目標，我們可以選擇它，而不是最大限度地參與，假設負面影響是可以接受的。

資源

最后，我想向您推薦兩個參考資料，讓您更多地了解A/B測試。

• Udacity的免費A/B測試課程涵蓋了A/B測試的所有基礎知識。
• 值得信賴的在線控制實驗-A/B測試的實用指南，作者：羅恩·科哈維，黛安·唐，和雅·許。它對如何在工業中運行A/B測試、潛在的陷阱和解決方案有深入的知識。它包含了很多有用的東西，所以我實際上計劃寫一篇文章來總結這本書的內容。如果你感興趣，請繼續關注！