3.1.1、數學期望

     如果X是在概率空間（Ω, P）中的一個隨機變量，那么它的期望值E[X]的定義是：

3.1.2、方差與標準差

    其定義為：如果是隨機變量X的期望值（平均數） 設為服從分布的隨機變量，則稱為隨機變量或者分布的方差：

    樣本方差是對總體方差的無偏估計。  中分母為 n-1 是因為的自由度為n-1(且慢，何謂自由度？簡單說來，即指樣本中的n個數都是相互獨立的，從其中抽出任何一個數都不影響其他數據，所以自由度就是估計總體參數時獨立數據的數目，而平均數是根據n個獨立數據來估計的，因此自由度為n)，這是由于存在約束條件。 

3.1.3、協方差與相關系數

(其中，E為數學期望或均值，D為方差，D開根號為標準差，E{ [X-E(X)] [Y-E(Y)]}稱為隨機變量X與Y的協方差，記為Cov(X,Y)，即Cov(X,Y) = E{ [X-E(X)] [Y-E(Y)]}，而兩個變量之間的協方差和標準差的商則稱為隨機變量X與Y的相關系數，記為)
    相關系數衡量隨機變量X與Y相關程度的一種方法，相關系數的取值范圍是[-1,1]。相關系數的絕對值越大，則表明X與Y相關度越高。當X與Y線性相關時，相關系數取值為1（正線性相關）或-1（負線性相關）。
    具體的，如果有兩個變量：X、Y，最終計算出的相關系數的含義可以有如下理解：

1. 當相關系數為0時，X和Y兩變量無關系。
2. 當X的值增大（減?。?，Y值增大（減?。?，兩個變量為正相關，相關系數在0.00與1.00之間。
3. 當X的值增大（減?。?，Y值減?。ㄔ龃螅?，兩個變量為負相關，相關系數在-1.00與0.00之間。

協方差矩陣

    由上，我們已經知道：協方差是衡量兩個隨機變量的相關程度。且隨機變量 之間的協方差可以表示為

     故根據已知的樣本值可以得到協方差的估計值如下：

    可以進一步地簡化為：

    如此，便引出了所謂的協方差矩陣： 

3.2.1、獨立同分布的中心極限定理

3.2.2、棣莫弗-拉普拉斯中心極限定理

    此外，據wikipedia上的介紹，包括上面介紹的棣莫弗-拉普拉斯定理在內，歷史上前后發展了三個相關的中心極限定理，它們得出的結論及內容分別是：

• 棣莫弗－拉普拉斯（de Movire - Laplace）定理是中心極限定理的最初版本，討論了服從二項分布的隨機變量序列。

 其內容為：若是n次伯努利實驗中事件A出現的次數，，則對任意有限區間：
(i)當及時，一致地有

(ii)當時，一致地有， 

，其中。

• 林德伯格－列維（Lindeberg-Levy）定理，是棣莫佛－拉普拉斯定理的擴展，討論獨立同分布隨機變量序列的中心極限定理。

 其內容為：設隨機變量獨立同分布， 且具有有限的數學期望和方差，。

記，，則，其中是標準正態分布的分布函數。 

• 林德伯格－費勒定理，是中心極限定理的高級形式，是對林德伯格－列維定理的擴展，討論獨立，但不同分布的情況下的隨機變量和。

    其內容為：記隨機變量序列（獨立但不一定同分布，且有有限方差）部分和為

    記

，

    如果對每個，序列滿足

    則稱它滿足林德伯格（Lindeberg）條件。
    滿足此條件的序列趨向于正態分布，即

    與之相關的是李雅普諾夫（Lyapunov）條件：

    滿足李雅普諾夫條件的序列必滿足林德伯格條件。 

    它表明，滿足一定條件時，獨立，但不同分布的隨機變量序列的標準化和依然以標準正態分布為極限。

3.2.3、歷史