R語言與數據分析之三：分類算法1_數據分析師

分類算法與我們的生活息息相關，也是目前數據挖掘中應用最為廣泛的算法，如：已知系列的溫度、濕度的序列和歷史的是否下雨的統計，我們需要利用歷史的數據作為學習集來判斷明天是否下雨；又如銀行信用卡詐騙判別。

    分類問題都有一個學習集，根據學習集構造判別函數，最后根據判別函數計算我們所需要判別的個體屬于哪一類的。

    常見的分類模型與算法

    傳統方法

    1、線性判別法；2、距離判別法；3、貝葉斯分類器；

    現代方法：

    1、決策樹；2、支持向量機；3、神經網絡；

線性判別法：

    天氣預報數據(x1,x2分別為溫度和濕度，G為是否下雨)

[plain] view plaincopy

1. G=c(1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,2,2,2,2) 
2. x1=c(-1.9,-6.9,5.2,5.0,7.3,6.8,0.9,-12.5,1.5,3.8,0.2,-0.1,0.4,2.7,2.1,-4.6,-1.7,-2.6,2.6,-2.8) 
3. x2=c(3.2,0.4,2.0,2.5,0.0,12.7,-5.4,-2.5,1.3,6.8,6.2,7.5,14.6,8.3,0.8,4.3,10.9,13.1,12.8,10.0) 
4. a=data.frame(G,x1,x2) 
5. plot(x1,x2) 
6. text(x1,x2,G,adj=-0.5) 

      觀察上圖可以1點分布在右下方區域，2點主要分布在上方區域，肉眼可見這兩個集合分離的比較明顯，線性判別法的原理就是在平面中找出一條直線，使得屬于學習集1號的分布在直線一側，屬于學習集2號的分布在直線另一側。

    判別式是允許有出差的，只要在一定的范圍內即可。

    R語言的表達如下

[plain] view plaincopy

1. library(MASS) 
2. ld=lda(G~x1+x2) 
3. z=predict(ld) 
4. newG=z$class 
5. y=cbind(G,z$x,newG) 

    由上左圖可以看出，首先計算先驗概率，數據中1，2各占50%，然后計算x1和x2的平均值，最后給出了判別函數的代數表達：

    觀察上右圖可見，newG為預測的判別，可見兩類分別只有一個判錯，同時可以見判別函數的值為正值時判為第2類，判別函數值為負值時判為第1類。

距離判別法

    計算待測點和各類的距離，選擇最近的分類進行歸類。其中距離的計算非常關鍵，常見的距離為馬氏距離：

      R語言沒有自動距離判別法的函數，我們需要自己手動寫：

[plain] view plaincopy

1. myDiscriminiant<- function(TrnX1,TrnX2,TstX =NULL,var.equal=FALSE) 
2. { 
3.     if(is.null(TstX)==TRUE) TstX <- rbind(TrnX1,TrnX2) 
4.     if(is.vector(TstX)==TRUE) TstX<- t(as.matrix(TstX)) 
5.     else if(is.matrix(TstX) !=TRUE) 
6.         TstX <- as.matrix(TstX) 
7.     if(is.matrix(TrnX1)!=TRUE) TrnX1 <- as.matrix(TrnX1) 
8.     if(is.matrix(TrnX2)!=TRUE) TrnX2 <- as.matrix(TrnX2) 
9.     nx <- nrow(TstX) 
10.     blong <- matrix(rep(0,nx),nrow=1,byrow=TRUE,dimnames=list("blong",1:nx)) 
11.     mu1 <-colMeans(TrnX1);mu2 <- colMeans(TrnX2) 
12.     if(var.equal==TRUE || var.equal==T){ 
13.         S<- var(rbind(TrnX1,TrnX2)) 
14.         w<- mahalanobis(TstX,mu2,S)-mahalanobis(TstX,mu1,S) 
15.     } 
16.     else{ 
17.         S1<-var(TrnX1);S2<-var(TrnX2) 
18.         w<-mahalanobis(TstX,mu2,S2)-mahalanobis(TstX,mu1,S1) 
19.     } 
20.     for(i in 1:nx){ 
21.         if(w[i]>0)   
22.             blong[i] <- 1 
23.         else 
24.             blong[i] <- 2     
25.     } 
26.     blong 
27. } 

 保存到當前空間后，在控制臺調用它：

[plain] view plaincopy

1. classX1 <- data.frame( 
2.             x1=c(6.6,6.6,6.1,6.1,8.4,7.2,8.4,7.5,7.5,8.3,7.8,7.8), 
3.             x2=c(39,39,47,47,32,6,113,52,52,113,172,172), 
4.             x3=c(1,1,1,1,2,1,3.5,1,3.5,0,1,1.5) 
5.  ) 
6.  classX2 <- data.frame( 
7.             x1=c(8.4,8.4,8.4,6.3,7,7,7,8.3,8.3,7.2,7.2,7.2,5.5,8.4,8.4,7.5,7.5,8.3,8.3,8.3,8.3,7.8,7.8), 
8.             x2=c(32,32,32,11,8,8,8,161,161,6,6,6,6,113,113,52,52,97,97,89,56,172,283), 
9.             x3=c(1,2,2.5,4.5,4.5,6,1.5,1.5,0.5,3.5,1.0,1.0,2.5,3.5,3.5,1,1,0,2.5,0,1.5,1,1)   
10. ) 
11. source("myDiscriminiant.R") 
12. myDiscriminiant(classX1,classX2,var.equal=TRUE) 

    觀看blong就可以看出個體屬于哪一分類

貝葉斯分類器：

    計算個體屬于所有分類的概率，根據概率大小選擇所屬分類，已兩個總體總體的判別情況來看，X1，X2分別具有概率密度函數f1(x)和f2(x)，則樣本實際來自X1卻誤判為X2的概率為：

    同樣來自X2卻誤判為X1的概率簡單轉換下即可；

    來自X1也被判為X1的概率為：

    來自X2也被判為X2的也類似

    設p1,p2分別表示X1和X2的先驗概率，則

    用L(1|2)表示X2被誤判為X1的損失，其他類似，為了是分類越準確，則需降低平均誤判損失（expected cost of misclassification:ECM）越小越好:

    上式便為Bayes版別式。

    按照上述數學推導，我們構建自己的兩個總體的Bayes判別程序：

[plain] view plaincopy

1. myBayes <- function(TrnX1,TrnX2,rate=1,TstX=NULL,var.equal=FALSE){ 
2.     if(is.null(TstX)==TRUE) TstX<-rbind(TrnX1,TrnX2) 
3.     if(is.vector(TstX)==TRUE) TstX<-t(as.matrix(TstX)) 
4.     else if(is.matrix(TstX)!=TRUE) 
5.         TstX <- as.matrix(TstX) 
6.     if(is.matrix(TrnX1)!=TRUE) TrnX1 <- as.matrix(TrnX1) 
7.     if(is.matrix(TrnX2)!=TRUE) TrnX2 <- as.matrix(TrnX2) 
8.     nx <- nrow(TstX) 
9.     blong <- matrix(rep(0,nx),nrow=1,byrow=TRUE,dimnames=list("blong",1:nx)) 
10.     mu1 <-colMeans(TrnX1);mu2 <- colMeans(TrnX2) 
11.     if(var.equal==TRUE || var.equal==T){ 
12.         S<- var(rbind(TrnX1,TrnX2)) 
13.         w<- mahalanobis(TstX,mu2,S)-mahalanobis(TstX,mu1,S) 
14.     } 
15.     else{ 
16.     S1<-var(TrnX1);S2<-var(TrnX2) 
17.     beta <-2*log(rate)+log(det(S1)/det(S2)) 
18.     w<-mahalanobis(TstX,mu2,S2)-mahalanobis(TstX,mu1,S1) 
19.     } 
20.     for(i in 1:nx){ 
21.         if(w[i]>beta)   
22.             blong[i] <- 1 
23.         else 
24.             blong[i] <- 2 
25.     } 
26.     blong 
27. } 

    以天氣預報為案例，我們看看如何使用Bayse分類器：

 我們在控制臺錄入數據：

[plain] view plaincopy

1. TrnX1<- matrix( 
2.     c(24.8,24.1,26.6,23.5,25.5,27.4, 
3.         -2,-2.4,-3,-1.9,-2.1,-3.1), 
4.     ncol=2) 
5. TrnX2<-matrix( 
6.     c(22.1,21.6,22,22.8,22.7,21.5,22.1,21.4, 
7.         -0.7,-1.4,-0.8,-1.6,-1.5,-1,-1.2,-1.3), 
8.     ncol=2) 
9. source("myBayes.R") 
10. myBayes(TrnX1,TrnX2,rate=8/6) 

下圖可見所有的樣本全部判別正確: