熱線電話：13121318867

登錄
首頁大數據時代機器學習：關于最小二乘法基本概念的理解
機器學習：關于最小二乘法基本概念的理解
2020-07-01
收藏

今天小編給大家分享一下最小二乘法的一些內容。

一、最小二乘法概念

最小二乘法Least Square Method，做為分類回歸算法的基礎，有著悠久的歷史(由馬里·勒讓德于1806年提出)。主要是通過最小化誤差的平方以及最合適數據的匹配函數。

作用：(1)利用最小二乘法可以得到位置數據(這些數據與實際數據之間誤差平方和最小)(2)也可以用來曲線擬合

二、最小二乘法的一般提法為：

已知 n 組觀測數據(x1.y1),(x2.y2)...........(xn,yn)， 可認為它們滿足某一模型 y=g(x)+ε(x)，其中 y=g(x)是函數 ，ε(x)=y-g(x)是觀測值與函數值得誤差，稱為誤差函數。 那么有 yi是觀測值，εi=yi-g(xi)是觀測誤差。 設 g (x)是含有 p 個參數的擬合函數，則 ε(x)=y- g (x)，εi=yi- g (xi)，要確定 g (x)中 p 個參數的值，就要使得ni = 1Σεi2=ni = 1Σ(yi- g (xi))2達到最小。 這一方法稱為最小二乘法。 特別的，假設擬合函數為：

y*=a1φ1(x)+a2φ2(x)+........asφs(x)

其中 φ1(x),φ2(x)............φs(x)為所選定的基函數，ai(i=1.2.....s)為待定系數，要確定系數 ai(i=1.2.....s)，使得 y*與 n 組觀測數據的距離的平方和盡可能小，也就是取最小值。

三、最小二乘法的適用場景

當樣本量m很少，小于特征數n的時候，這時擬合方程是欠定的，需要使用LASSO。當m=n時，用方程組求解。當m>n時，擬合方程是超定的，我們可以使用最小二乘法。

四、最小二乘法局限性

首先，最小二乘法需要計算(XTX)?1逆矩陣，有可能逆矩陣不存在，這樣就沒有辦法直接用最小二乘法。

第二，當樣本特征n非常的大的時候，計算逆矩陣是一個非常耗時的工作，甚至不可行。建議不超過10000個特征。

第三，如果擬合函數不是線性的，這時無法使用最小二乘法，需要通過一些技巧轉化為線性才能使用。


CDA數據分析師考試相關入口一覽（建議收藏）：

? 想報名CDA認證考試，點擊>>>   “CDA報名” 了解CDA考試詳情；

? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；

? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；

最小二乘 特征

數據分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

上一篇樸素貝葉斯算法的簡單理解和介紹
下一篇貝葉斯公式里的先驗概率怎么理解？
數據分析師考試動態
CDA報考指南
數據分析學習
數據分析師資訊
更多

CDA教育閉環

常見問題

關于我們

CDA數據分析師公眾號

  • CDA數據分析師公眾號

CDA考試中心小程序

  • CDA考試中心服務號

CDA數據分析師App下載

  • CDA數據分析師App下載
Copyright © 2015-2021, www.ruiqisteel.com All Rights Reserved. CDA數據分析師(北京國富如荷網絡科技有限公司) 版權所有 京ICP備11001960號-9 京公網安備 11010802034615號 經營許可證編號：京B2-20210330
聯系電話：13321103290 (微信同號)

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢