盤點機器學習中那些神奇的損失函數

我最近在學習R語言，但是估R語言我應該沒能跟sas一樣玩那么好。今天來更新在機器學習中的一些專業術語，例如一些損失函數，正則化，核函數是什么東西。

損失函數：損失函數是用來衡量模型的性能的，通過預測值和真實值之間的一些計算，得出的一個值，這個值在模型擬合的時候是為了告訴模型是否還有可以繼續優化的空間（模型的目的就是希望損失函數是擬合過的模型中最小的），損失函數一般有以下幾種，為什么損失函數還有幾種呢，因為不同的算法使用的損失函數有所區分。

1

0-1損失函數:

這個損失函數的含義，是最簡單的，預測出來的分類結果跟真實對比，一樣的返回1，不一樣返回0,這種方式比較粗暴，因為有時候是0.999的時候，其實已經很接近了，但是按照這個損失函數的標準，還是返回0，所以這個損失函數很嚴格，嚴格到你覺得特別沒有人性。

2

感知損失函數

那么這個感知損失函數，其實是跟混淆矩陣那種算法是一樣，設定一個閥值，假設真實值與預測值之間的差距超過這個閥值的話，就是1，小于的話就是0，這種就多多少少彌補了0-1損失函數中的嚴格，假設以0.5為界限，那么比0.5大的我們定義為壞客戶，小于0.5定義為壞客戶，假設用這種方式，那么大部分好客戶聚集在0.6，以及大部分好客戶聚集在0.9這個位置，感知損失函數，判斷的時候可能是差不多的效果。但是很明顯兩個模型的效果是，后者要好。當然你在實際的做模型的時候也不會單靠一個損失函數衡量模型啦，只是你在擬合的時候可能使用的損失函數來擬合出機器覺得是最優的。

3

Hinge損失函數

Hinge損失函數是源自于支持向量機中的，因為支持向量機中，最終的支持向量機的分類模型是能最大化分類間隔，又減少錯誤分類的樣本數目，意味著一個好的支持向量機的模型，需要滿足以上兩個條件：1、最大化分類間隔，2、錯誤分類的樣本數目。錯誤分類的樣本數目，就回到了損失函數的范疇。

我們看上面這張圖：把這四個點，根據下標分別叫1、2、3、4點，可以看到hinge衡量的是該錯誤分類的點到該分類的分類間隔線之間的距離，像1點，他雖然沒有被正確分類，但是是在分類間隔中，所以他到正確被分類的線的距離是小于1的（分類間隔取的距離是1），那么像2，3，4點他們到正確的分類間隔的距離都是超過1，正確分類的則置為0，那么回到上面的公式，支持向量機中，分類使用+1，-1表示，當樣本被正確分類，那么就是0，即hinge的值為0，那么如果在分隔中的時候，hinge的值為1-真實值與預測值的積。舉個例子，當真實值yi是1，被分到正確分類的分類間隔之外，那么yi=1，>1,那么這時候即樣本被正確分類hinge值則為0。那么如果是被錯誤分類，則hinge值就是大于1了。這就是hinge損失函數啦。

4

交叉熵損失函數

這個函數是在邏輯回歸中最大化似然函數推出來，在公式層面的理解，可以看到就是計算樣本的預測概率為目標值的概率的對數。這個你不想聽公式推導也看下去啦，因為這對于優化問題的理解可以更深刻。

以上的公式中的h(x)代表的樣本是目標值的概率，那么模型最極端的預測是什么，y=1的樣本的h(x)都為1，y=0的樣本的h(x)都是0，那么你這個模型的正確率就是100%，但在實際建模中這個可能性是極低的，所以這時候使用最大似然估計將全部的樣本的預測值連乘，那么這時候意味著對于y=1的樣本，h(x)的值越大越好，y=0的時候h(x)的值越小越好即1-h(x)的值越大越好，這時候似然估計這種相乘的方式貌似很難衡量那個模型是最好的，所以加上log函數的轉化之后再加上一個負號，全部的項變成相加，這時候我們只要求得-ln(l())最小就可以了。這就是交叉熵損失函數。那么這里你可能會問，為什么用的是log，不是用什么exp，冪函數這些，因為log是單調遞增的，在將式子從相乘轉成相加的同時，又保證了數值越大，ln(x)的值越大。

5

平方誤差

平方差，這個大家很熟啦，線性回歸很愛用這個，這個衡量線性關系的時候比較好用，在分類算法中比較少用。

6

絕對誤差

那么這個也是回歸中比較常用的，也不做多的解釋。

7

指數誤差

這是adaboosting中的一個損失函數，假設目標變量還是用-1，1表示，那么就以為在上面的公式中，當yi=1的時候，就希望越大越好，即越小越好，同樣可推當yi=0的時候。思想跟邏輯回歸類似，但是因為這里使用-1，1表示目標變量，所以損失函數有些區別。