偏差與方差是我們在機器學習中經常遇到的兩個概念，而且在有關機器學習的面試中，偏差與方差也經常拿來考驗面試者的機器學習的基礎知識。偏差與方差這兩者看似簡單，但要真正弄清楚兩者之間的聯系與區別，必須要下大功夫才可以。今天小編就為大家整理、分享偏差與方差的那些聯系與區別。希望對大家有所幫助。

一、偏差和方差的概念

機器學習中，當我們用訓練數據集去訓練一個模型時，一般的做法就是定義一個誤差函數，通過將這個誤差的最小化過程，以此來提高模型的性能。但是，我們學習一個模型通常是為了解決訓練數據集這一領域中的一般化問題，因此單純地將訓練數據集的損失最小化，并不能保證在解決更為一般的問題時，模型仍然是最優的，甚至連保證模型是否可用都不能保證。這個訓練數據集的損失，與一般化的數據集的損失之間的差異，也就是泛化誤差generalization error。而泛化誤差又可以分解為以下三項：

偏差(Biase)、方差(Variance)和噪聲(Noise)。

偏差Biase：描述的是所有可能的訓練數據集訓練出的所有模型的輸出的平均值與真實模型的輸出值之間的差異。偏差越大，越偏離真實數據，如上圖第二行所示。

方差Variance：描述的是不同的訓練數據集訓練出的模型輸出值之間的差異，也就是離其期望值的距離。方差越大，數據的分布越分散，如上圖右列所示。

噪聲Noise：是學習算法所無法解決的問題，數據的質量決定了學習的上限。假設在數據已經給定的情況下，此時學習的上限已經確定，而這時我們需要做的就是盡可能的接近這個上限。

二、偏差與方差的數學定義

泛化誤差

以回歸任務為例, 學習算法的平方預測誤差期望為:

方差

在一個訓練集 D 上模型 f 對測試樣本 x 的預測輸出為 f(x;D), 那么學習算法 f 對測試樣本 x 的 期望預測 為:

上面的期望預測也就是針對 不同 數據集 D, f 對 x 的預測值取其期望, 也被叫做 average predicted。

使用樣本數相同的不同訓練集產生的方差為:

噪聲

噪聲為真實標記與數據集中的實際標記間的偏差:

偏差

期望預測與真實標記的誤差稱為偏差(bias), 為了方便起見, 我們直接取偏差的平方:

我們回憶下剛才提到的泛化誤差：

現在對該期望泛化誤差進行分解:

對最終的推導結果稍作整理:

三、學習曲線

高偏差與高方差

我們通常用使用代價函數J，也就是平方差函數，來評價數據擬合程度好壞。在只關注Jtrain(θ)(訓練集誤差)的情況下，通常會導致過擬合，因此也必須要關注Jcv(θ)也就是交叉驗證集誤差。學習曲線 的橫軸是樣本數，縱軸為 訓練集 和 交叉驗證集 的 誤差。

高偏差：高偏差情況下，Jtrain(θ)和Jcv(θ)誤差都很大，并且Jtrain很接近Jcv(θ)。對應欠擬合。

高方差：Jtrain(θ)較小，Jcv(θ)誤差很大。對應過擬合。

在實際優化情況下，更多的是對防止過擬合參數λ的調整，λ對應的是正則化系數，λ越大，代表著對過擬合的限制越強。下圖就是λ和，Jtrain(θ)和Jcv(θ)理想曲線。

推薦學習書籍
《CDA一級教材》適合CDA一級考生備考，也適合業務及數據分析崗位的從業者提升自我。完整電子版已上線CDA網校，累計已有10萬+在讀~

免費加入閱讀：https://edu.cda.cn/goods/show/3151?targetId=5147&preview=0