熱線電話:13121318867

登錄
首頁精彩閱讀【機器學習經典算法源碼分析系列】-- 線性回歸
【機器學習經典算法源碼分析系列】-- 線性回歸
2017-03-11
收藏

機器學習經典算法源碼分析系列】-- 線性回歸

一、單變量線性回歸
1.數據集可視化
 
2.求解模型參數
對于線性回歸模型,有兩種方法可以求解模型參數。
1)  梯度下降法

將代價函數代入展開:

Matlab代碼實現:

2)  正規方程
 

Matlab代碼實現:

關于正規方程的推導:

3)梯度下降法和正規方程比較
 
由控制臺輸出模型參數和回歸直線可知,兩者得到的結果很相近,具體選擇什么方法參照以下標準。

二、多變量線性回歸
多變量線性回歸求解步驟和單變量線性回歸相似,值得注意的一個問題是:
對于多個特征變量,在計算模型參數之前要記得進行特征縮放,使各個特征值大致在同一范圍內,有利于進行梯度下降算法求解模型參數。

介紹一種方法如下:

Matlab實現:

相比較而言,正規方程在處理多變量回歸方程問題時省略了特征縮放的步驟,只需按照單變量的步驟進行處理即可,在簡潔性上更勝一籌。
三、學習速率的選擇
梯度下降法的效率受學習速率的影響非常大,過小,收斂速度非常緩慢,所需迭代次數增大;過大時,每次迭代可能不會減小代價函數,甚至會出現越過局部最小值無法收斂。數據分析師培訓

可以通過試湊的方式進行的選擇:如0.01,0.03,0.1,0.3,1,3,10…

數據分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數據分析師資訊
更多

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢