熱線電話：13121318867

登錄
首頁精彩閱讀【從零開始學統計】5.假設檢驗那些事
【從零開始學統計】5.假設檢驗那些事
2014-07-04
收藏
1、什么是假設檢驗？
       個人理解，假設檢驗就是利用反證法和小概率事件對原假設（Null Hypothesis）和備選假設（Alternative Hypothesis）進行選擇。首先，假設原假設成立，那么就可以利用原假設的一些條件，如統計量的概率分布。然后，選定顯著性水平α和對應的拒絕域（一個區間），一般選擇α= 5%或α= 1%。接下來，根據樣本和假設的統計量，計算P值（P Value）。如果P值對應的統計量在顯著性水平以內，那么就拒原假設。直觀的理解，因為α比較小，屬于小概率事件，一般不可能發生，但是現在卻發生了，那么原假設有問題，所以拒絕原假設，接受備選假設。

2、為什么要做假設檢驗
       假設檢驗是統計中常用的手段，大家比較熟悉的t檢驗、方差分析、卡方檢驗等都是假設檢驗的范疇。為什么要做假設檢驗呢？實際上原因就在于抽樣的問題。如果我們不抽樣，直接比較總體，那就無需做假設檢驗。假設檢驗都是對樣本做的，目的是通過樣本推理總體。
       例如，想比較兩個班的學生身高是否有差異，有兩個方法：一是把兩個班級的學生都測量身高，然后比較兩個班的均數。二是從每個班抽樣一部分學生測量身高，然后比較抽樣的兩個樣本均數，推理是否兩個班的身高不同。
       第一種方法當然最理想，直接就知道是不是有差異，但是也有一個問題，如果不是比較2個班，而是兩個省，那測量起來就有點麻煩。所以在很多情況下第一種方法難以實施。
       第二種方法實際上就是假設檢驗的思想，通過樣本推理總體。比如，兩個班均100人，從每個班各抽樣30人測量身高，然后比較他們的身高是否有差異。
       但是，這也有個問題，那就是，我每個班選擇的30人是否代表了這個班的身高（也正是前面所說抽樣誤差的問題）。
       如果最終比較這兩個班的60人，發現身高不同，我是否可以通過這60人的結果來說這2個班的身高就不同呢？這就需要一個概率的問題，也就是我根據現有的數據（也就是這60人）作出的推斷有多大的可信程度？如果有95%以上的把握認為我的結果是可靠的，那我就可以比較放心地說，這兩個班級的學生身高就是不同。如果我的把握度沒有這么高，我是否能說的理直氣壯呢？到底多高才算高呢？所以就需要一個標準，目前國際上公認的標準就是95%。95%只是一個標準，并不是說我非要P<0.05才算結果理想，P<0.05表示我的把握度大于95%，但是如果P=0.06，那我的把握度=94%難道就不行嗎？所以現在的文章要求列出確切的P值，結論是不是可靠，審稿人看看P值到底有多大，心里自然有數。如果單純寫個P>0.05，那P=0.06也是大于0.05，P=0.96也是大于0.05，但是之間的差距那是一目了然。所以，建議還是寫上具體的P值是最好。


需要指出的是，無論是否拒絕原假設，都不能保證100%正確，只能在一定程度上估計這件事情可能性。而且檢驗結果很大程度上取決于樣本，所以一旦樣本出現偏倚（Biased），會直接影響檢驗結果。


3、假設檢驗，形式化的可以總結為以下6步：
  • 確定原假設H0和備選假設H1
  • 根據H0，確定統計量的概率分布和相關參數
  • 確定顯著性水平α和拒絕域
  • 根據步驟2的參數，求出P值
  • 查看P值是否位于拒絕域以內
  • 做出判斷，如果P值在拒絕域以內，那么拒絕H0接受H1。否則接受H0拒絕H1。

下面的圖是雙側和單側檢驗的拒絕域：

1.gif

上面提到，假設檢驗不會100%確保檢驗結果正確，會出現上面的兩類錯誤：
第一類錯誤：錯誤的拒絕原假設。原假設正確，但是卻錯誤的拒絕了，發生此事件的概率為α，也就是顯著性水平。所以顯著性水平越高，越容易發生。
第二類錯誤：錯誤的接受原假設。原假設錯誤，但是卻接受了原假設。發生此事件的概率需要根據統計量的分布，和被選項假設具有具體值來確定，這里先略過（《Head First Statistics》假設檢驗這一章中舉了一個例子描述如何求解其概率）。

  • 同時引申出一個問題如何選擇顯著性水平α：
       顯著性水平α一般為0.05，但是根據需要可以設為0.1或者0.01。當α較大時，第一類錯誤的概率增大，第二類錯誤的概率減少；α較小時，則相反。下面舉幾個例子：
       例1 一個汽車制造商正在考核新零件，該零件對車輛安全至關重要。目前正在抽樣檢測，你覺得α應該如何指定。
解答H0：新配件與原始配件的安全性能相同。H1：新配件比原始配件更安全。由于此配件關系用戶聲明安全，所以需要盡量使用較安全的配件，拒絕假設H0，那么可以設將α設置高一點，比如 0.1。
       例2 一個機器中，有一個配件，替換成本十分高，但是如果該配件損壞了，對機器影響不大，請問顯著性水平應該如何選取。
解答 H0：配件正常工作。H1：配件損壞。由于替換成本較高，所以需要確保零配件的確損壞才能替換，可以將α設置較小，比如0.01。


再往外說點，來說說區間估計與假設檢驗的關系（前面不是剛弄過置信度和最小二乘估計么，略微結合一下）
主要區別：
區間估計通常求得的是一樣本估計值為中心的雙側置信區間，而假設檢驗以假設總體參數值為基準，不僅有雙側檢驗也有單側檢驗
區間估計立足于大概率，通常以較大的置信水平（1-α）去保證總體參數的置信區間。而假設檢驗立足于小概率，通常是給定很小的顯著性水平（α）去檢驗對總體參數的先驗假設是否成立。
那些剪不斷的聯系：
兩者的推斷結果都有一定的可信程度也有相應的風險；
對同一問題的參數進行推斷，使用同一種樣本，同一統計量和分布，所以兩者可以互相轉換。也就是說區間估計問題可以轉換成假設問題，區間估計中的置信區間對應假設檢驗中的接受域，置信區間以外的就是其拒絕域。


CDA數據分析師考試相關入口一覽（建議收藏）：

? 想報名CDA認證考試，點擊>>>   “CDA報名” 了解CDA考試詳情；

? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；

? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；

假設檢驗 最小二乘 方差分析

數據分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

上一篇隨機森林 vs XGBoost vs 決策樹：算法選擇中的
下一篇圖論在大數據分析中的作用！
數據分析師考試動態
CDA報考指南
數據分析學習
數據分析師資訊
更多

CDA教育閉環

常見問題

關于我們

CDA數據分析師公眾號

  • CDA數據分析師公眾號

CDA考試中心小程序

  • CDA考試中心服務號

CDA數據分析師App下載

  • CDA數據分析師App下載
Copyright © 2015-2021, www.ruiqisteel.com All Rights Reserved. CDA數據分析師(北京國富如荷網絡科技有限公司) 版權所有 京ICP備11001960號-9 京公網安備 11010802034615號 經營許可證編號：京B2-20210330
聯系電話：13321103290 (微信同號)

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢