簡單易學的機器學習算法—極限學習機(ELM)

一、極限學習機的概念
    極限學習機(Extreme Learning Machine) ELM，是由黃廣斌提出來的求解單隱層神經網絡的算法。
    ELM最大的特點是對于傳統的神經網絡，尤其是單隱層前饋神經網絡(SLFNs)，在保證學習精度的前提下比傳統的學習算法速度更快。
二、極限學習機的原理
ELM是一種新型的快速學習算法，對于單隱層神經網絡，ELM 可以隨機初始化輸入權重和偏置并得到相應的輸出權重。

對于一個單隱層神經網絡(見Figure 1)，假設有個任意的樣本，其中，。對于一個有L個隱層節點的單隱層神經網絡可以表示為

其中，為激活函數，為輸入權重，為輸出權重，是第個隱層單元的偏置。表的內積。

     單隱層神經網絡學習的目標是使得輸出的誤差最小，可以表示為

即存在，使得

可以矩陣表示為

其中，H是隱層節點的輸出，為輸出權重，T為期望輸出。

為了能夠訓練單隱層神經網絡，我們希望得到使得

其中，，這等價于最小化損失函數

傳統的一些基于梯度下降法的算法，可以用來求解這樣的問題，但是基本的基于梯度的學習算法需要在迭代的過程中調整所有參數。而在ELM算法中, 一旦輸入權重和隱層的偏置被隨機確定，隱層的輸出矩陣就被唯一確定。訓練單隱層神經網絡可以轉化為求解一個線性系統。并且輸出權重可以被確定

其中，是矩陣的Moore-Penrose廣義逆。且可證明求得的解的范數是最小的并且唯一。
三、實驗
    我們使用《簡單易學的機器學習算法——Logistic回歸》中的實驗數據。

原始數據集
我們采用統計錯誤率的方式來評價實驗的效果，其中錯誤率公式為：

對于這樣一個簡單的問題。
MATLAB代碼
主程序
[plain] view plain copy 在CODE上查看代碼片派生到我的代碼片
%% 主函數，二分類問題  
 
%導入數據集  
A = load('testSet.txt');  
 
data = A(:,1:2);%特征  
label = A(:,3);%標簽  
 
[N,n] = size(data);  
 
L = 100;%隱層節點個數  
m = 2;%要分的類別數  
 
%--初始化權重和偏置矩陣  
W = rand(n,L)*2-1;  
b_1 = rand(1,L);  
ind = ones(N,1);  
b = b_1(ind,:);%擴充成N*L的矩陣  
 
tempH = data*W+b;  
H = g(tempH);%得到H  
 
%對輸出做處理  
temp_T=zeros(N,m);  
for i = 1:N  
    if label(i,:) == 0  
        temp_T(i,1) = 1;  
    else   
        temp_T(i,2) = 1;  
    end      
end  
T = temp_T*2-1;  
 
outputWeight = pinv(H)*T;  
 
%--畫出圖形  
x_1 = data(:,1);    
x_2 = data(:,2);    
hold on    
for i = 1 : N    
    if label(i,:) == 0    
        plot(x_1(i,:),x_2(i,:),'.g');    
    else    
        plot(x_1(i,:),x_2(i,:),'.r');    
    end    
end  
 
output = H * outputWeight;  
%---計算錯誤率  
tempCorrect=0;  
for i = 1:N  
    [maxNum,index] = max(output(i,:));  
    index = index-1;  
    if index == label(i,:);  
        tempCorrect = tempCorrect+1;  
    end  
end  
 
errorRate = 1-tempCorrect./N;  

激活函數
[plain] view plain copy 在CODE上查看代碼片派生到我的代碼片
function [ H ] = g( X )  
    H = 1 ./ (1 + exp(-X));  
end