熱線電話:13121318867

登錄
首頁精彩閱讀kernel 核函數 意義 作用 原理_機器學習
kernel 核函數 意義 作用 原理_機器學習
2016-12-14
收藏

kernel 核函數 意義 作用 原理_機器學習

核函數目的:把原坐標系里線性不可分的數據用Kernel投影到另一個空間,盡量使得數據在新的空間里線性可分。

核函數方法的廣泛應用,與其特點是分不開的:

1)核函數的引入避免了“維數災難”,大大減小了計算量。而輸入空間的維數n對核函數矩陣無影響,因此,核函數方法可以有效處理高維輸入。

2)無需知道非線性變換函數Φ的形式和參數.
3)核函數的形式和參數的變化會隱式地改變從輸入空間到特征空間的映射,進而對特征空間的性質產生影響,最終改變各種核函數方法的性能。
4)核函數方法可以和不同的算法相結合,形成多種不同的基于核函數技術的方法,且這兩部分的設計可以單獨進行,并可以為不同的應用選擇不同的核函數和算法。數據分析培訓

kernel SVM和linear SVM相比,就是把所有的兩個向量之間的點積換成了一個kernel函數。而且由于轉換過程中單個的Φ(x),Φ(y)的函數形式和參數難以確定,所以通過核函數可以直接越過此步驟。(點積的意義就是相似度,相似度越大,夾角越小,結果值越大)

x y –> K(x,y)=Φ(x)’  Φ(y)

K(x,y)表示在投射空間內兩個向量的點積

Gaussian Kernel的表達形式是 K(x,y)=exp(-||x-y||^2/theta^2).

這個東西看起來是一個相似度。如果兩個向量是相同的,這個kernel的值是1。

然而兩個相同的向量的點積并不是1,點積好像也沒有相似度的含義。(此句為原提問著的疑問)

對kernel最容易理解的一個例子:

X = (x1,x2)


Φ(X) = (x1*x1, sqrt(2)*x1*x2, x2*x2)

kernel(X,Y) = Φ(X)’*Φ(Y) = (x1*y1)^2+2*(x1*y1*x2*y2)+(x2*y2)^2 = 
 
(x1*y1+x2*y2)^2 = (X’*Y)^2

即二次齊次核 kernel(X,Y) = (X’*Y)^2


數據分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數據分析師資訊
更多

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢