機器學習之徑向基神經網絡

本文基于臺大機器學習技法系列課程進行的筆記總結。

主要內容如下圖所示：

首先介紹一下徑向基函數網絡的Hypothesis和網絡的結構，然后介紹徑向基神經網絡學習算法，以及利用K-means進行的學習，最后通過一個實例加深對RBF神經網絡認識和理解。

RBF神經網絡的Hypothesis和網絡結構

我們從基于Gaussian kernel的support vector machine中在無限維度中進行特征轉換來獲取一個large margin的邊界，這個Gaussian kernel就是一個Radio Basis Function Kernel。其意義呢有兩個：一是radio，代表的是x和中心點xm之間的距離，可以是任意衡量距離的某種范數，比如L2范數等；二是Basis，表示要進行聯合（combine）；于是就可以得到了以下關于RBF神經網絡的更加質樸的定義：如下圖所示，RBF神經網絡實際上就是一些選擇出來的radial徑向hypothesis的線性組合。

那么為何是神經網絡呢？我們看如下圖所示的結構對比，從中可以看出兩者的隱含層（hidden layer）不同，即RBF神經網絡采用的激發函數或者映射是徑向基函數（距離+高斯）等，而輸出層都一樣，是特征轉換后的線性融合。

這樣就得到了RBF的神經網絡的Hypothesis，如下圖所示，如果還記得kernel svm的hypothesis的話（representation theory），我們得到的SVM的Hypothesis實際上就是support vector的線性組合，即影響我們最后得到的hypothesis只是與這些“代表”的點有關。類似的，RBF也是如此，我們需要找到一些能夠代表數據的中心點（ center ）。所以我們在進行訓練學習的時候要做的就是：給定的徑向基函數（RBF）和輸出，然后決定這些center和線性組合的系數β。另外一個值得提出的就是從另一個角度來看徑向基函數神經網絡與其他前饋神經網絡的關系，可以參考我的另一篇博文中的總結：神經網絡總結（初稿），關鍵點就是從BP神經網絡到徑向基函數神經網絡，一個明顯的特征就是我們不用在對所有全局的鏈接權重進行訓練，而是只對一些重要的影響輸出的權重進行調整，這樣就能明顯提升神經網絡的訓練速度。

另一個重要的內容就是Gaussian的徑向基函數實際上做的就是一種相似度的測量，而且是在原始空間的相似度測量。而特征轉換就是距離與中心點的相似度的轉換。

Full RBF神經網絡

full RBF神經網絡實際上就是一個非常lazy的RBF神經網絡。之所以lazy講的它根本不做center，也就是它把所有觀測到的數據都作為center，也就是輸入size為N，那么center的size也是N。即一種uniform的形式，融合每一個輸入數據到所有訓練樣本點的相似度。如下圖所示：

最近鄰模型（Nearest neighbor）

思想就是我們對所有經過hypothesis得到的輸出進行投票（vote，aggregation），而是選擇在相似度上與已知樣本點最近的那個點的標簽作為輸出。這就是典型的最近鄰模型。所以這樣看上去訓練就比較簡單了，實際上只用把觀測到的數據保存下來就好，但測試過程則比較復雜，因為要對所有的已知標簽的樣本點進行相似度的計算，然后選出最近鄰的那個，并輸出該樣本的標簽。稍微拓展一下，我們還是可以做融合的，我們選出最相似的k個鄰居，然后由著k個鄰居進行投票，或者線性融合，然后再輸出，這樣的模型就叫做k最近鄰模型。

Regularization

那如果利用full RBF神經網絡進行regression呢情況又變成怎樣呢，如下圖所示：

從中可以看出，經過以上設計進行訓練我們將得到Ein=0，這在內插法逼近函數的時候是非常好的，可是我們知道這樣好的Ein往往有可能出現overfitting，所以需要進行regularization的設計。常見的方法就是加約束項或懲罰函數。在不同的空間做regularization有著不同的結果。另一中regularization的方法就是限制center的數量，我們用few center進行，而不是full，這樣就能在一定程度上降低模型復雜度。那么如何從一堆X中萃取中心點呢？萃取的標準又是什么呢？

于是問題就轉向了聚類問題cluster problem。

聚類問題cluster problem(K-means)

聚類問題的數學描述如下圖所示，通過優化聚類誤差（采用了平方誤差）進行。

于是就引出了非常著名的K-means聚類算法，具體內容參看我的另一篇博客K-means算法

把K-means 應用到RBF神經網絡中

那么將K-means方法用到RBF神經網絡中，就可以得到以下的流程

下面幾個就是利用k-means算法流程進行的實驗結果

對比了采用regularization的full RBF、采用了few center（K-means）的RBF以及基于nearest neighbor的Full RBF實驗效果圖，從圖中可以看出，雖然full RBF效果可能要比k-means的效果要好，可是一般來講由于計算復雜度和overfitting的風險等原因一般不常常使用。

*************************************************************************************************************************************

對于徑向基函數神經網絡，只要抓住它的hypothesis的質樸表示：一堆center的相似度（Gaussian RBF）的線性融合（vote，linear aggregation）就好了。完成的特征轉換就是距離到相似度。輸出就是相似度的線性組合。

然后中間涉及到的三個比較重要的內容就是：1. 最近鄰思想；2. K-means算法；3. alternating optimization的思想。能夠掌握上面三個重要內容就非常好了。