統計之 - 協方差_數據分析師

協方差分析是建立在方差分析和回歸分析基礎之上的一種統計分析方法。方差分析是從質量因子(qualitative)的角度探討因素的不同水平對實驗指標影響的差異。一般說來，質量因子是可以人為控制的。回歸分析是從數量因子(quantitative)的角度出發，通過建立回歸方程來研究實驗指標與一個（或幾個）因子之間的數量關系。但大多數情況下，數量因子是不可以人為加以控制的。

定義

在概率論和統計學中，協方差用于衡量兩個變量的總體誤差，而方差是協方差的一種特殊情況，即當兩個變量是相同的情況。在X和Y是獨立的情況下，期望值分別為E[X]與E[Y]的兩個實數隨機變量X與Y之間的協方差定義為：

直觀上來看，協方差表示的是兩個變量總體誤差的期望，或者更直白的說協方差用于判定兩個變量的相互關聯性：

1. 如果兩個變量的變化趨勢一致，也就是說如果其中一個大于自身的期望值時另外一個也大于自身的期望值，那么兩個變量之間的協方差就是正值

2. 如果兩個變量的變化趨勢相反，即其中一個變量大于自身的期望值時另外一個卻小于自身的期望值，那么兩個變量之間的協方差就是負值

3. 如果X與Y是統計獨立的，那么二者之間的協方差就是0，因為兩個獨立的隨機變量滿足E[XY]=E[X]E[Y]。但是，反過來并不成立。即如果X與Y的協方差為0，二者并不一定是統計獨立的。

協方差Cov(X,Y)的度量單位是X的協方差乘以Y的協方差。而取決于協方差的相關性，是一個衡量線性獨立的無量綱的數。

協方差為0的兩個隨機變量稱為是不相關的。

協方差的屬性

兩個不同參數之間的方差就是協方差，若兩個隨機變量X和Y相互獨立，則E[(X-E(X))(Y-E(Y))]=0，因而若上述數學期望不為零，則X和Y必不是相互獨立的，亦即它們之間存在著一定的關系。

定義

E[(X-E(X))(Y-E(Y))]稱為隨機變量X和Y的協方差，記作Cov(X，Y)，即Cov(X，Y)=E[(X-E(X))(Y-E(Y))]。

協方差與方差之間有如下關系：

D(X+Y)=D(X)+D(Y)+2Cov(X，Y)

D(X-Y)=D(X)+D(Y)-2Cov(X，Y)

協方差與期望值有如下關系：

Cov(X，Y)=E(XY)-E(X)E(Y)。

協方差的性質：

（1）Cov(X，Y)=Cov(Y，X)；

（2）Cov(aX，bY)=abCov(X，Y)，（a，b是常數）；

（3）Cov(X1+X2，Y)=Cov(X1，Y)+Cov(X2，Y)。

由協方差定義，可以看出Cov(X，X)=D(X)，Cov(Y，Y)=D(Y)。

http://www.ruiqisteel.com/

協方差作為描述X和Y相關程度的量，在同一物理量綱之下有一定的作用，但同樣的兩個量采用不同的量綱使它們的協方差在數值上表現出很大的差異。為此引入如下概念：

定義稱為隨機變量X和Y的相關系數。

定義

若ρXY=0，則稱X與Y不相關。

即ρXY=0的充分必要條件是Cov(X，Y)=0，亦即不相關和協方差為零是等價的。

定理

設ρXY是隨機變量X和Y的相關系數，則有

（1）∣ρXY∣≤1；

（2）∣ρXY∣=1充分必要條件為P{Y=aX+b}=1，（a，b為常數，a≠0）

定義

設X和Y是隨機變量，若E(X^k)，k=1，2，...存在，則稱它為X的k階原點矩，簡稱k階矩。

若E{[X-E(X)]k}，k=1，2，...存在，則稱它為X的k階中心矩。

若E{(X^k）（Y^p)}，k、l=1，2，...存在，則稱它為X和Y的k+p階混合原點矩。

若E{[X-E(X)]^k[Y-E(Y)]^l}，k、l=1，2，...存在，則稱它為X和Y的k+l階混合中心矩。

顯然，X的數學期望E(X)是X的一階原點矩，方差D(X)是X的二階中心矩，協方差Cov(X，Y)是X和Y的二階混合中心矩。

協方差在農業上的應用

農業科學實驗中，經常會出現可以控制的質量因子和不可以控制的數量因子同時影響實驗結果的情況，這時就需要采用協方差分析的統計處理方法，將質量因子與數量因子(也稱協變量)綜合起來加以考慮。

比如，要研究3種肥料對蘋果產量的實際效應，而各棵蘋果樹頭年的“基礎產量”不一致，但對試驗結果又有一定的影響。要消除這一因素帶來的影響，就需將各棵蘋果樹第1年年產量這一因素作為協變量進行協方差分析，才能得到正確的實驗結果。

當兩個變量相關時，用于評估它們因相關而產生的對應變量的影響。

當多個變量獨立時，用方差來評估這種影響的差異。

當多個變量相關時，用協方差來評估這種影響的差異。