熱線電話：13121318867

登錄
首頁精彩閱讀機器學習-回歸模型-欠擬合和過擬合
機器學習-回歸模型-欠擬合和過擬合
2017-03-20
收藏

機器學習-回歸模型-欠擬合和過擬合

1. 什么是欠擬合和過擬合

先看三張圖片，這三張圖片是線性回歸模型 擬合的函數和訓練集的關系

第一張圖片擬合的函數和訓練集誤差較大，我們稱這種情況為 欠擬合

第二張圖片擬合的函數和訓練集誤差較小，我們稱這種情況為 合適擬合

第三張圖片擬合的函數完美的匹配訓練集數據，我們稱這種情況為 過擬合 

類似的，對于邏輯回歸同樣也存在欠擬合和過擬合問題，如下三張圖

2. 如何解決欠擬合和過擬合問題

欠擬合問題，根本的原因是特征維度過少，導致擬合的函數無法滿足訓練集，誤差較大。

欠擬合問題可以通過增加特征維度來解決

過擬合問題，根本的原因則是特征維度過多，導致擬合的函數完美的經過訓練集，但是對新數據的預測結果則較差。

解決過擬合問題，則有2個途徑

減少特征維度; 可以人工選擇保留的特征，或者模型選擇算法

正則化; 保留所有的特征，通過降低參數θ的值，來影響模型

3. 正則化

回到前面過擬合例子, h(x) = θ0 + θ1x1 + θ2x2 + θ3x3 + θ4x4

從圖中可以看出，解決這個過擬合問題可以通過消除特征x3和x4的影響, 我們稱為對參數的懲罰, 也就是使得參數θ3, θ4接近于0。

最簡單的方法是對代價函數進行改造，例如

這樣在求解最小化代價函數的時候使得參數θ3, θ4接近于0。

正則化其實就是通過對參數θ的懲罰來影響整個模型

4. 線性回歸使用正則化

前面幾篇文章中，線性回歸的代價函數J(θ)表達式如下

正則化后，代價函數J(θ)表達式如下，注意j從1開始

注意λ值不能設置過大，否則會導致求出的參數除了θ0，其它θ1,θ2 ... θn值約等于0，導致預測函數h(x)出現極大偏差

我們的目標依然是求J(θ)最小值，我們還是用梯度下降算法和正規方程求解最小化J(θ)

1. 梯度下降算法(注意需要區分θ0和其它參數的更新等式)

2. 正規方程

對于正規方程來，需要修改等式如下

系數λ 所乘的矩陣為 (n+1)*(n+1)維

5. 邏輯回歸使用正則化

和線性回歸模型類型，邏輯回歸也可以通過正則化來解決過擬合問題。

邏輯回歸的代價函數J(θ)表達式如下數據分析師培訓

正則化邏輯回歸的代價函數，是在等式后加上一項，注意j從1開始

同樣的用梯度下降算法求解最小化J(θ)，也需要做改變

不同的是邏輯回歸模型中的預測函數 h(x)和線性回歸不同


CDA數據分析師考試相關入口一覽（建議收藏）：

? 想報名CDA認證考試，點擊>>>   “CDA報名” 了解CDA考試詳情；

? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；

? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；

過擬合 特征 欠擬合 邏輯回歸 線性回歸 偏差 機器學習 數據分析

數據分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

上一篇圖論在大數據分析中的作用！
下一篇CDA認證再升一檔！與國家共同推進大數據人才培養標準教育事業！
數據分析師考試動態
CDA報考指南
數據分析學習
數據分析師資訊
更多

CDA教育閉環

常見問題

關于我們

CDA數據分析師公眾號

  • CDA數據分析師公眾號

CDA考試中心小程序

  • CDA考試中心服務號

CDA數據分析師App下載

  • CDA數據分析師App下載
Copyright © 2015-2021, www.ruiqisteel.com All Rights Reserved. CDA數據分析師(北京國富如荷網絡科技有限公司) 版權所有 京ICP備11001960號-9 京公網安備 11010802034615號 經營許可證編號：京B2-20210330
聯系電話：13321103290 (微信同號)

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢