簡單易學的機器學習算法—線性回歸(1)

一、線性回歸的概念
    對連續型數據做出預測屬于回歸問題。舉個簡單的例子：例如我們在知道房屋面積(HouseArea)和臥室的數量(Bedrooms)的情況下要求房屋的價格(Price)。通過一組數據，我們得到了這樣的關系：

這樣的關系就叫做線性回歸方程，其中為回歸系數。當我們知道房屋面積以及臥室數量時，就可以求出房屋的價格。當然還有一類是非線性回歸。
二、基本線性回歸
    線性回歸的目標是要求出線性回歸方程，即求出線性回歸方程中的回歸系數。我們可以使用平方誤差來求線性回歸系數。平方誤差可以表示為：

可以使用矩陣表示。對W求導，得到。于是令其為0，即得到的估計

三、基本線性回歸實驗

原始的數據

最佳擬合直線

MATLAB代碼
主函數
[plain] view plain copy 在CODE上查看代碼片派生到我的代碼片
%% load Data  
A = load('ex0.txt');  
 
X = A(:,1:2);%讀取x  
Y = A(:,3);  
 
ws = standRegres(X,Y);  
 
%% plot the regression function  
x = 0:1;  
y = ws(1,:)+ws(2,:)*x;  
hold on  
xlabel x;  
ylabel y;  
plot(X(:,2),Y(:,1),'.');  
plot(x,y);  
hold off  

求權重的過程
[plain] view plain copy 在CODE上查看代碼片派生到我的代碼片
function [ ws ] = standRegres( X, Y )  
    [m,n] = size(X);  
    ws = zeros(m,1);  
    XTX = X'*X;  
    if det(XTX) == 0  
        disp('This matrix is singular, cannot do inverse');  
    end  
    ws = XTX^(-1) *(X'*Y);  
end  

四、局部加權線性回歸
    在線性回歸中會出現欠擬合的情況，有些方法可以用來解決這樣的問題。局部加權線性回歸(LWLR)就是這樣的一種方法。局部加權線性回歸采用的是給預測點附近的每個點賦予一定的權重，此時的回歸系數可以表示為

為給每個點的權重。
    LWLR使用核函數來對附近的點賦予更高的權重，常用的有高斯核，對應的權重為

這樣的權重矩陣只含對角元素。
五、局部加權線性回歸實驗
    對上組數據做同樣的處理：

MATLAB代碼
主函數
[plain] view plain copy 在CODE上查看代碼片派生到我的代碼片
%% load Data  
A = load('ex0.txt');  
 
X = A(:,1:2);  
Y = A(:,3);  
 
[SX,index] = sort(X);%得到排序和索引  
%yHat = lwlrTest(SX, X, Y, 1);  
%yHat = lwlrTest(SX, X, Y, 0.01);  
%yHat = lwlrTest(SX, X, Y, 0.003);  
 
 
hold on  
xlabel x;  
ylabel y;  
plot(X(:,2),Y(:,1),'.');  
plot(SX(:,2),yHat(:,:));  
hold off  

LWLR
[plain] view plain copy 在CODE上查看代碼片派生到我的代碼片
function [ output ] = lwlr( testPoint, X, Y, k )  
    [m,n] = size(X);%得到數據集的大小  
    weight = zeros(m,m);  
    for i = 1:m  
        diff = testPoint - X(i,:);  
        weight(i,i) = exp(diff * diff'./(-2*k^2));  
    end  
    XTX = X'*(weight * X);  
    if det(XTX) == 0  
        disp('his matrix is singular, cannot do inverse');  
    end  
    ws = XTX^(-1) * (X' * (weight * Y));  
    output = testPoint * ws;  
end  

[plain] view plain copy 在CODE上查看代碼片派生到我的代碼片
function [ y ] = lwlrTest( test, X, Y, k )  
    [m,n] = size(X);  
    y = zeros(m,1);  
    for i = 1:m  
        y(i,:) = lwlr(test(i,:), X, Y, k);  
    end  
end  

當k=1時是欠擬合，當k=0.003時是過擬合，選擇合適的很重要。