熱線電話：13121318867

登錄
首頁精彩閱讀【從零開始學統計】4.帶你認識最小二乘法
【從零開始學統計】4.帶你認識最小二乘法
2014-07-04
收藏
在估計方法中，最大似然和最小二乘是經常被使用到的，其中的最小二乘更是回歸的基礎。樓主在剛接觸最小二乘的時候曾經想過一個問題，為什么非要用平方？絕對值不行么？……很多問題縈繞腦中。最近借著做專題的時間，抽空又看了一下這個知識點，略微整理了一下分享給大家：

1、什么是最小二乘思想？
簡單地說，最小二乘的思想就是要使得觀測點和估計點的距離的平方和達到最小.這里的“二乘”指的是用平方來度量觀測點與估計點的遠近（在古漢語中“平方”稱為“二乘”），“最小”指的是參數的估計值要保證各個觀測點與估計點的距離的平方和達到最小。從這個上也可以看出，最小二乘也可用于擬合數據模型。

這當中涉及到如下問題：
①觀測點和距離點的距離：這個距離也被稱為誤差。既然要估計，總希望找到最好的估計值，那么誤差越小越好。
②為什么是距離的平方和：距離的平方和也就是誤差的平方和，既然誤差越小越好，那是否可以用絕對值來代替？；樓主覺得用絕對值代替的這個想法是可以的，只是在之后的運算求值時處理比較復雜。（樓主隱約記得取絕對值最小的方法好像是最小一乘法）
③為什么平方求解方便呢？那就要從公式講起了（樓主說好不上復雜公式推導的，好吧，這里就簡單描述一下吧……）
設擬合直線是 1.jpg ,距離（或誤差）為 2.jpg ，那么最小二乘的思想就是讓等式3.jpg 具有最小值。那么這就需要做求偏導了。（這也就是為什么最小二乘有個要求就是數據需要具有二階矩），大致推導過程如下：
4.jpg 
整理后對方程組求解
5.jpg 
2014-5-12 12:01:51 上傳
下載附件 (4.98 KB)

最終解得 6.jpg 

2、什么時候用最小二乘法
在研究兩個變量之間的關系時，可以用回歸分析的方法進行分析。當確定了描述兩個變量之間的回歸模型后，就可以使用最小二乘法估計模型中的參數，進而建立經驗方程。例如，在現實世界中，這樣的情形大量存在著：兩個變量X和Y（比如身高和體重）彼此有一些依賴關系，由X可以部分地決定Y的值，但這種關系又是不確定的.人們常常借助統計學中的回歸模型來尋找兩個變量之間的關系，而模型的建立當然是依據觀測數據.首先通過試驗或調查獲得x和Y的一組對應關系(x1，Y1)，(x2，Y2)，…，(xn，Yn)，然后回答下列5個問題：
1. 這兩個變量是否有關系？(畫出散點圖，作直觀判斷)
2. 這些關系是否可以近似用函數模型來描述？（利用散點圖、已積累的函數曲線形狀的知識和試驗數據，選擇適當的回歸模型，如一元線性模型，二次函數模型等）
3. 建立回歸模型.
4. 對模型中的參數進行估計，最小二乘法是這些參數的一種常用估計方法.
5. 討論模型的擬合效果.

當然參數的估計還有很多，最小二乘的運用樓主覺得在線性模型中還是非常便捷和實用的。當然，他也有很多衍生出的其他方法，咱就不細說。


CDA數據分析師考試相關入口一覽（建議收藏）：

? 想報名CDA認證考試，點擊>>>   “CDA報名” 了解CDA考試詳情；

? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；

? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；

最小二乘 散點圖

數據分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

上一篇隨機森林 vs XGBoost vs 決策樹：算法選擇中的
下一篇圖論在大數據分析中的作用！
數據分析師考試動態
CDA報考指南
數據分析學習
數據分析師資訊
更多

CDA教育閉環

常見問題

關于我們

CDA數據分析師公眾號

  • CDA數據分析師公眾號

CDA考試中心小程序

  • CDA考試中心服務號

CDA數據分析師App下載

  • CDA數據分析師App下載
Copyright © 2015-2021, www.ruiqisteel.com All Rights Reserved. CDA數據分析師(北京國富如荷網絡科技有限公司) 版權所有 京ICP備11001960號-9 京公網安備 11010802034615號 經營許可證編號：京B2-20210330
聯系電話：13321103290 (微信同號)

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢