
如何決定樣本量,是一個老生常談的話題,也有很多相關文章。然而翻看相關文章,就會發現介紹選多少合適的比較多,而介紹為什么這么選就合適的卻比較少。
相信很多用研同學都聽過這句著名的話:
根據尼爾森關于可用性測試的經典理論,6-8人便可以找到產品80%以上的可用性問題。
但是……為啥呢?當有“無知的”地球人問:為什么6-8人就能發現80%以上的問題時,難道我們要理直氣壯的說:因為是尼爾森說的么……
在樣本量選擇上似乎有一些“約定俗成”的規定。比如:可用性測試5-8人,問卷調研大約200-500份等等……但是,當需要和地球人理論時,單單的“約定俗成”卻沒有足夠的說服力。不如讓我們一起來看看這些“約定俗成”背后的科學道理,讓自己更有底氣。
俗話說“8個用戶可以發現80%的問題”。其實這句話并不完整,完整的說法應該是:
8個人可以80%的概率發現發生可能性大于18%的問題。
這話太繞了,嘗試用人話解釋一下:如果某個APP中存在一個BUG,100個人用,50個人用都會遇到,那么我們至少有80%的可能性發現。只要可能遇到的人大于18個(發生可能性大于18%),我們都至少有80%的可能性發現。但如果這個BUG只有5個人可會遇到,那么能發現的概率就要低于80%了。
之所以這么說,背后的原理是這樣一個公式:
(P(X≥1)是在n次嘗試中事件至少發生1次的概率,p是某事件的概率)
前輩們根據這個公式總結出了下表:
資料來源:《用戶體驗度量》Jeff Sauro,James R.Lewis著,機械工業出版社,P134-135
從表中可以看出,決定樣本量涉及到兩個因素:一個是確定程度,一個是問題發生的概率。
再來具體看一看我們常說的“8個人”。
當選擇8個人進行測試時,可以100%發現發生概率大于50%的問題,90%的可能性發現發生概率大于25%的問題,73%的可能性發現發生概率大于15%的問題。
就好像天氣預報員說:100%的確定明天的降水概率大于50%,90%的確定明天的降水概率大于25%。
等等…這樣的話會不會被質疑:8個人只能90%發現發生概率大于25%的問題,那發生概率低于25%的問題怎么辦?就不重要了么?
不如讓我們再來看看尼爾森關于釣魚的比喻:
假設你有好多個池塘可以釣魚,一些魚比另一些魚更容易抓到。所以,如果你有10小時,你會花10個小時都在一個池塘里釣魚,還是花5個小時在一個池塘上、花另外的5個小時在另一個池塘上呢? 為使抓到的魚數量最大化,你應該在兩個池塘上都花一些時間,以便從每個池塘里都釣到容易釣的魚。
一次何必找那么多用戶,少做幾個用戶先把發生率高的問題get了,版本更新以后再繼續找用戶去get發生率高的問題,省時省力效果佳。
這樣是不是就可以完整的證明我們可用性測試做5-8個人的觀點了呢。
在做問卷調研的時候,如何估計樣本量?眾所周知有一個公式:
但是這個公式存在一個問題:我要是連總體方差(CV2)都能知道,還做個毛線調研。
如果想估算總體方差,需要先選取一批人進行測試,得到一個樣本方差,用樣本方差代替總體方差,這在現實工作中顯然難以實現。于是為了便于計算,偉大的前輩對公式進行了轉換:
資料來源:《社會研究方法》仇立平著,重慶大學出版社,P137
作者說這一轉換是根據“推論總體比例或百分比的原理”進行的。姑且不去管這個轉換原理是什么,這個公式我們可以這樣來理解:當p=0.5的時候,總體的差異性最大。因為p=0.5表示兩種情況出現的概率是相等的。比如一個群體中男生和女生出現的概率都是0.5,說明男女人數相等。這種情況下,這個群體的性別差異是最大的。
由于總體差異越大,需要的樣本量就越大。我們面對任何總體的時候,都可以假設“這是一個差異性最大的總體”,來計算我們所需要的樣本量。因此,把p=0.5代入,就簡化出了一個可以供我們輕松計算樣本量的公式。
如果想看到總體不同差異所對應的樣本量,前人還總結了這樣一個表:
資料來源:《社會研究方法》仇立平著,重慶大學出版社,P137
因此假設總體差異性最大的情況下,在習慣使用的5%誤差檔,300多的樣本也就可以了。
當然,在具體使用過程中,并不用查表那么麻煩。有一個著名的計算樣本量的網站,直接去算就OK了。
http://www.surveysystem.com/sscalc.htm
首先,總體規模會對樣本量有影響。當總體規模比較小的時候,對樣本量影響較大。但是當總體規模達到一定程度以后,對樣本量增加的需求是較小的。
我們往往調查所涉及到的總體不是無限總體,產品的用戶人數都是一個有限的數量。因此在計算所需樣本量的時候,為了更精確可以加入變量“總體規?!?,公式大概長成這個樣子:
然而這不是重點,重點是通過這個公式可以計算出,不同總體規模所需要的樣本量大致如下:
由此可以看出,當總體規模在1萬以下時,隨著總體規模上升,所需樣本量增加比較大。但是當總體規模在1萬以上時,規模再變大,所需樣本人數的增長變得緩慢。
為了得到更準確的答案,我們不妨用計算樣本量的網址自己來算一下。假設置信區間為±3個標準差。計算結果如下:
如果再有人說:我們是億級的產品,1000人怎么能代表我們的用戶?
就可以理直氣壯的告訴他:
總體規模10萬以上和10萬所需要的樣本量并沒有什么區別呢。
樣本量選多少合適,對于調研本身而言或許不是個問題。但是當我們想推動調研結果的時候,樣本量卻很容易遭到對方質疑??赡苁菐装賯€人的答案看起來容易讓人覺得不靠譜,也可能因為樣本量是最容易質疑的一個因素……
無論如何,多了解一些背后的原因,讓自己更有底氣,或許才能更好地說服別人。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25