r語言做決策樹代碼實現

0.節點和結點的區別：節點為兩線相交，不為終點；而結點為兩線相交為終點，沒有延伸；
1.分支節點：它指向其他的節點，所以是度不為0的節點。 vs 葉子結點：度為0的結點
2.度：結點擁有的子樹數；就是說這個結點下面有幾條分支
3.樹的深度：樹有幾層
4.10折交叉驗證：常用的測試算法準確性的方法。
  將數據集分成10份，輪流將其中9份作為訓練數據，1份作為測試數據，進行試驗
  每次試驗都會得出相應的正確率，10次結果的正確率取平均值就作為算法精度的估計，一般還需進行多次10折交叉驗證，再求均值
  為什么取10折？因為很多理論證明了10折是獲得最好誤差估計的恰當選擇。
  
#第1步：工作目錄和數據集的準備
setwd("C:/Users/IBM/Desktop/170222分類樹建模/2.23建模")#設定當前的工作目錄，重要！
audit2<-read.csv("model2.csv",header=T)
str(audit2) #轉成字符串類型的

#第2步：做訓練集和測試集
set.seed(1)
sub<-sample(1:nrow(audit2),round(nrow(audit2)*2/3))
length(sub)
data_train<-audit2[sub,]#取2/3的數據做訓練集
data_test<-audit2[-sub,]#取1/3的數據做測試集
dim(data_train)#訓練集行數和列數13542 23
dim(data_test) #測試集的行數和列數6771 23
table(data_train$是否轉化) #看該列分布的
table(data_test$是否轉化)


#做決策樹模型。首先對樹參數進行設置，再建模
## rpart.control對樹進行一些設置  
## xval是10折交叉驗證  
## minsplit是最小分支節點數，這里指大于等于20，那么該節點會繼續分劃下去，否則停止  
## minbucket：葉子節點最小樣本數,這里設置100，可以調參 
## maxdepth：樹的深度  

## cp全稱為complexity parameter，指某個點的復雜度，對每一步拆分,模型的擬合優度必須提高的程度 

#加載程序包和一些參數設定
library(rpart)
ct<-rpart.control(xval=10,minsplit=20,minbucket=150,cp=0.00017)

#rapart包中的raprt函數來做決策樹
#na.action:缺失數據的處理，默認為刪因變量缺失保留自變量缺失
#method：樹的末端數據類型選擇相應的變量分割方法：
#        連續性method=“anova”,離散型method=“class”,計數型method=“poisson”,生存分析型method=“exp”  
#parms：用來設置三個參數:先驗概率、損失矩陣、分類純度的度量方法（gini和information） 

#第3步：建模，觀察模型結果

library(rpart)

tree.both<-rpart(as.factor(是否轉化)~ .,data=data_train,method='class',minsplit=20,minbucket=150,cp=0.00017)
summary(tree.both)
tree.both$variable.importance
printcp(tree.both)
plotcp(tree.both,lwd=2)
#第4步：畫決策樹
#畫決策樹第1種方法，畫出來的樹比較簡單
par(mfrow=c(1,3))
plot(tree.both)
text(tree.both,use.n=T,all=T,cex=0.9)

#畫決策樹第2種方法，畫出來的樹稍微好看些
library(rpart.plot)
rpart.plot(tree.both,branch=1,shadow.col="gray",box.col="green",border.col="blue",split.col="red",split.cex=1.2,main="決策樹")
#第5步：剪枝
#rpart包提供了一種剪枝方法--復雜度損失修剪的修剪方法
#printcp這個函數會告訴你分裂到的每一層，對應的cp是多少，平均相對誤差是多少
#xerror：交叉驗證的估計誤差；xstd：標準誤差；xerror±xstd平均相對誤差
printcp(tree.both)

#我們使用具有最小交叉驗證誤差的cp
cp=tree.both$cptable[which.min(tree.both$cptable[,"xerror"]),"CP"]

cp #cp=0.00049

#第6步：剪枝之后的樹再畫圖
tree.both2<-prune(tree.both,cp=tree.both$cptable[which.min(tree.both$cptable[,"xerror"]),"CP"])
summary(tree.both2)
tree.both2$variable.importance
printcp(tree.both2)
plotcp(tree.both2,lwd=2) 

library(rpart.plot)
rpart.plot(tree.both2,branch=1,shadow.col="gray",box.col="green",border.col="blue",split.col="red",split.cex=1.2,main="決策樹")
#第7步：輸出規則。剪枝后的決策樹規則，從規則中再發現規律
library(rattle)
asRules(tree.both2)
#第8步：在測試集上做預測
library(pROC)

pred.tree.both<-predict(tree.both,newdata=data_test)

#第9步，看測試的效果，預測正確的有多少，預測錯誤的有多少

predictScore<-data.frame(pred.tree.both)
rownames(predictScore) #看這個矩陣行的名字
colnames(predictScore)#看這個矩陣列的名字
predictScore$是否轉化<-'ok'  #在預測的矩陣后面多加一列‘是否轉化’2，全部都是2
predictScore[predictScore$FALSE.>predictScore$TRUE.,][,"是否轉化"]=FALSE #如果false的概率大于true的概率，那么判斷為false
predictScore[predictScore$FALSE.<=predictScore$TRUE.,][,"是否轉化"]=TRUE 
n<-table(data_test$是否轉化,predictScore$是否轉化)
n #看分布情況
percantage<-c(n[1,1]/sum(n[1,]),n[2,2]/sum(n[2,]))
percantage