
作者:丁點helper
來源:丁點幫你
正態分布,這個我們從中學就學過的內容,真有這么重要嗎?我想,真正學懂統計的人對這一點是不會質疑的,且不談特別高深的統計理論,徹底弄懂正態分布是靈活運用統計學中各種假設檢驗方法、看懂p值,理解均數置信區間的前提。今天,我嘗試帶著大家搞懂對于正態分布你需要知道的所有知識點。
作為統計學的基礎,我們會主要注重思維理解,復雜的數學計算在此略去。這并非意味著數學不重要,對數學的仔細專研恰恰會特別輔助理解和掌握,只是對于大部分數學基礎不好的同學這個難度不小,所以我們在這里會盡可能少用難懂的數學理論,用簡單的語言講清最基礎、最重要的邏輯。本篇文章主要來自于我們微信公眾號“丁點幫你”的SPSS與統計思維的系列課程的第七講 二項分布和正態分布,在這里形成文字是為了不方便看視頻的同學學習和回顧。
1. 從名字說起
為什么叫“正態分布”,也有地方叫“常態分布”,這兩個名字都不太直觀,但如果我們各取一字變為“正常分布”,就很白話了,而這正是“正態分布”的本質含義,Normal Distribution。它太常見了,基本上能描述所有常見的事物和現象:正常人群的身高、體重、考試成績、家庭收入等等。這里的描述是什么意思呢?就是說這些指標背后的數據都會呈現一種中間密集、兩邊稀疏的特征。以身高為例,服從正態分布意味著大部分人的身高都會在人群的平均身高上下波動,特別矮和特別高的都比較少見。
你可能不禁要問,這是為什么?我們認為,這其實與我們前面所講的同質與變異的概念相關(參見課程第三講 統計學核心思維與統計描述)。因為我們研究的對象具有同質性(比如都是成年的中國男子),所以其特征往往是趨同的,即存在一個基準;但由于個體變異的存在(當然變異不會太大),這些特征又不是完全一致,所以會以一定的幅度在基準的上下波動,從而形成了中間密集,兩側稀疏的特征。
2. 連續型隨機變量研究區間概率
了解了正態分布的基本思想,我們來看看實際應用中我們需要掌握的要點。首先,正態分布屬于“連續型隨機變量分布”的一類。我們知道,對于連續型隨機變量,我們不關注“點概率”,只關注“區間概率”,這是什么意思?
我們看這個例子,假定隨機變量X指是“北京市成年男子的身高”,理論上它可以取任意正數,所以我們把它當做一個連續型隨機變量(連續型變量,就是指可以取某一區間或整個實數軸上的任意一個值的變量)來看待。這里,我們先想一想如何計算P(X =1.87)? 即身高恰好完全exactly等于1.87的概率是多少,這就是所謂的“點概率”。更極端一點,讓隨機變量Y是[0,1]這個區間上的任意一點,那么Y的取值有多少個呢?無數多個,我們數不清楚,所以Y 取某一個具體的值的概率是1除以無數,即可以看做是0。于是,這里透露一個很重要的結論:連續型隨機變量取任意某個確定的值的概率均為0。因此,對于連續型隨機變量,我們通常不研究它取某個特定值的概率,而研究它在某一段區間上的取值,比如身高在1.70~1.80的概率。
3. 概率密度函數
對于初學者來講,“概率密度”可能是最不友好的一個概念,直接談概率不行嗎,好好的為什么要生出一個“密度”?的確,沒有太多數理基礎,這個概念著實不太好理解。雖然文字和數學公式上你可能感覺很陌生,但我們特別熟知的那條中間高、兩邊低的“鐘形曲線”恰恰就是正態分布的概率密度曲線。前面我們講了區間概率,這里你就可以通過區間的角度來理解概率密度曲線:曲線越高,也就代表著這個區間的數據越密集,簡單理解成在同樣大小的房子里,這個房間的人數更多、更擠。除此之外,另一個關于概率密度函數的重要知識點是,積分(這里簡單理解為“密度曲線下面積“即可)等于概率。隨機變量X在某個區間比如(a,b)即a<X<b的概率,就是概率密度曲線在這個區間下的面積,數學上的表達就是密度函數在區間(a, b)上的積分。所以,概率的大小就是“概率密度函數曲線下的面積”的大小,這個不太起眼的概念實際上就決定了你日后是否能理解假設假設中所謂的“拒絕域”。
下圖中的三條曲線f(x),就是概率密度函數,各種形式的概率就是相對應的曲線下面積。這里,數學基礎不太好的同學不用特別深挖積分的計算過程,但對這三張圖與對應的概率表達形式,同學們要熟知。
4. 均數和標準差
前面說對于正態分布的概率密度函數以及積分不用特別關注,那真正需要關注的是什么呢?就是均數和標準差。這里需要明確的是,一旦談及正態分布,我們首先要想到它的兩個參數:均數和標準差。每次一遇到正態分布就迅速找這兩個概念,最好形成條件反射,因為這兩個數才是我們日后運用正態分布解決實際問題的“利器”。
關于正態分布均數和標準差的性質,我們這里簡單總結一下:1)概率密度曲線在均值處達到最大,并且對稱;2)一旦均值和標準差確定,正態分布曲線也就確定;3)當X的取值向橫軸左右兩個方向無限延伸時,曲線的兩個尾端也無限漸近橫軸,理論上永遠不會與之相交;4)正態隨機變量在特定區間上的取值概率由正態曲線下的面積給出,而且其曲線下的總面積等于1 ;5)均值可取實數軸上的任意數值,決定正態曲線的具體位置;標準差決定曲線的“陡峭”或“扁平”程度:標準差越大,正態曲線越扁平;標準差越小,正態曲線越陡峭。這是因為,標準差越小,意味著大多數變量值離均數的距離越短,因此大多數值都緊密地聚集在均數周圍,圖形所能覆蓋的變量值就少些(比如1±0.1涵蓋[0.9,1.1]),于是都擠在一塊,圖形上呈現瘦高型。相反,標準差越大,數據跨度就比較大,分散程度大,所覆蓋的變量值就越多(比如1±0.5涵蓋[0.5,1.5]),圖形呈現“矮胖型”。
我們可以對照下圖直觀地看一下,圖中黃色曲線為A,藍色曲線為B,紫紅色曲線為C。如圖,我們可以看到均數的大小決定了曲線的位置,標準差的大小決定了曲線的胖瘦。A和B的均值一樣,但標準差不同,所以形狀不同,根據我們的描述,圖形越瘦高,標準差越小,圖形越扁平,標準差越大。確實如此,圖中B的標準差是1/2,小于A的標準差1。
5. 標準化與查表求概率
接下來,我們通過一個例子來看如何通過查表法計算正態分布變量在某個區間的概率。首先,我們看這個問題,說小明每天上學的通勤時間是一個隨機變量X,這個變量服從正態分布。統計他過去20天的通勤時間(單位:分鐘):26、33、65、28、34、55、25、44、50、36、26、37、43、62、35、38、45、32、28、34?,F在我們想知道他上學花30~45分鐘的概率。
首先,我們將問題轉化為數學表達式,要算他上學花30~45分鐘的概率,就是求P(30 < X < 45)。之前我們一直強調,一個變量服從正態分布,就要立馬考慮到它的均數和標準差是多少。這里我們簡化一下用他過去20天的樣本數據來代替。所以,我們首先計算這20天通勤時間的樣本均數及標準差,分別為38.8(分鐘)和11.4(分鐘)。
然后,我們進行標準化,這一步很重要,也稱z變換。通過標準化,所有服從一般正態分布的隨機變量都變成了服從均數為0,標準差為1的標準正態分布。對于服從標準正態分布的隨機變量,專門用z表示。因此,求P(30 < X < 45),就轉換成了求P(-0.77 < Z < 0.54),標準化的具體計算為:
這里簡單提醒一下,經過標準化后,原來的曲線的形狀不會變化,即不會改變胖瘦,只是位置發生平移,比如下圖中的例子,經過標準化實際上只是均數從1010移到了0。
完成z變換,我們就通過可以利用z值表找到對應的概率值。下圖就是z值表,一般的統計教科書后面都有,同學們也可以在網上查到。找不到的同學,可以關注我們的微信公眾號后臺留言索取。
再三強調,圖中陰影部分的面積代表的是Z ≤ z的概率(注意是“≤”)。另外,還有兩個根據定義成立的兩個公式:一是P(Z ≥ z)= 1- P(Z ≤ z);二是P(Z≤-z)= 1-P(Z ≤ z)大家也需要了解。下面我們正式看看怎么查表,前面我們已經把問題轉化成求P (-0.77 ≤ Z ≤0.54) = P (Z ≤ 0.54)–P (Z ≤ -0.77),于是,我們需要找當Z≤0.54和Z≤-0.77的概率值然后相減即可。
先看Z≤0.54的P值,對照下圖,首先看表格最左邊那一列,找到0.5,然后,因為0.54的第二位小數是4,所以定位到頂行找到“4”那一列,得到0.7054;同樣的方法,我們找到Z≤-0.77對應的P值0.2206。最后我們就能算出,P (-0.77 ≤ Z ≤0.54) = 0.4848,約等于0.5。因此,我們可以說,小明上學通勤時間花費30~45分鐘的概率是50%,這個概率還挺大的,占了一半。我們通過這個具體的例子詳細講解了隨機變量在某個區間的概率求解,不是因為這個計算有多重要,而是想提前給你打好基礎,方便理解假設檢驗及p值等相關概念。
P (Z ≤ 0.54) = 0.7054
P (Z ≤ -0.77) = 0.2206
6. 三個百分數:68%,95%,99.7%
熟悉了Z變換、查表求概率,我們來看看正態分布運用十分廣泛的三個百分數:68%,95%,99.7%。先看標準正態分布,我們知道一個變量服從標準正態分布,它的均數是0,標準差是1,那除了這兩個數字之外,我們還能獲得更多的信息嗎?可以,這三個百分數告訴了我們答案??聪旅孢@3個圖:
雖然理論上正態隨機變量可以取無數個值,定義域是整個實數軸,但實際上在[-1,1]這個區間就包含了它可以取的68%的值,[-2,2]區間包含了95%的值,[-3,3]包含了它可能取的99.7%的值。這里的1,2,3分別代表一個、兩個和三個標準差(標準正態分布的均數為0,標準差為1)。所以,根據這些,我們就可以推斷,一個服從標準正態分布的變量,它的取值很不可能超過2,極不可能超過3。這個用處非常大,一下子把我們要研究的重心從整個實數軸縮小到[-3,3]這個區間。另外,這里雖然是以標準正態分布為例進行說明,但這個性質是完全可以推到普通的正態分布的變量的。百分數不變,不過均數和標準差不再是0和1,而是代入具體分布的均數和標準差即可。下面我們來看一個實際應用的例子。
某小學學生身高的平均值和標準差分別為1.4(米)和0.15(米),我們知道身高一般是服從正態分布的,由此我們可以知道這個學校有68%的學生的身高在1.25到1.55,這里的1.25和1.55就是1.4加減0.15得到的(均數加減一個標準差),有95%的學生身高在1.1到1.7之間(均數加減兩個標準差),由此便極大地提升了我們對數據的掌握程度。講完這些你會發現一種巧妙的求解均數和標準差的方法:如果我們知道了某個變量的95%區間的取值(關于均值對稱),我們就可以算出對應的均數和標準差,進而幾乎知道了一切。
以上即為梳理的有關正態分布的關鍵知識點,希望大家在遇到假設檢驗和p值等概念的理解障礙時能回頭看看這些最基礎的要點,相信對你會有所幫助。
——熱門課程推薦:
想從事業務型數據分析師,您可以點擊>>>“數據分析師”了解課程詳情;
想從事大數據分析師,您可以點擊>>>“大數據就業”了解課程詳情;
想成為人工智能工程師,您可以點擊>>>“人工智能就業”了解課程詳情;
想了解Python數據分析,您可以點擊>>>“Python數據分析師”了解課程詳情;
想咨詢互聯網運營,你可以點擊>>>“互聯網運營就業班”了解課程詳情;
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25在當今數字化時代,數據分析師的重要性與日俱增。但許多人在踏上這條職業道路時,往往充滿疑惑: 如何成為一名數據分析師?成為 ...
2025-04-24