R語言使用隨機森林方法對數據分類

說明

隨機森林是另一類可用的集成學習方法，該算法在訓練過程中將產生多棵決策樹，每棵決策樹會根據輸入數據集產生相應的預測輸出，算法采用投票機制選擇類別眾數做為預測結果。
操作
導入隨機森林包：
library(randomForest)
使用隨機森林分類器處理訓練數據:
churn.rf = randomForest(churn ~ .,data = trainset,importance = T)
churn.rf

Call:
 randomForest(formula = churn ~ ., data = trainset, importance = T)
               Type of random forest: classification
                     Number of trees: 500
No. of variables tried at each split: 4

        OOB estimate of  error rate: 5.27%
Confusion matrix:
    yes   no class.error
yes 245   97  0.28362573
no   25 1948  0.01267106

利用訓練好的模型對測試集進行分類預測：

churn.prediction = predict(churn.rf,testset)

類似其它分類處理，產生分類表：

table(churn.prediction,testset$churn)

churn.prediction yes  no
             yes 111   7
             no   30 870
調用plot函數繪制森林對象均方差:

plot(churn.rf)

隨機森林的均方差
根據建立好的模型評估各屬性的重要度：

importance(churn.rf)
                                     yes        no MeanDecreaseAccuracy MeanDecreaseGini
international_plan            68.9592890 54.118994            72.190204         50.35584
voice_mail_plan               18.8899994 15.832400            19.607844         10.44601
number_vmail_messages         21.3080062 16.262770            22.068514         19.05619
total_day_minutes             28.3237379 30.323756            39.961077         79.91474
total_day_calls                0.6325725 -1.131930            -0.802642         20.80946
total_day_charge              28.4798708 28.146414            35.858906         77.84837
total_eve_minutes             18.5242988 20.572464            24.484322         42.99373
total_eve_calls               -3.3431379 -2.301767            -3.495801         17.45619
total_eve_charge              20.4379809 20.619705            24.489771         44.02855
total_night_minutes            0.9451961 16.105720            16.694651         22.93663
total_night_calls             -0.3497164  2.202619             1.869193         19.94091
total_night_charge             0.1110824 15.977083            16.593633         22.22769
total_intl_minutes            17.3951655 20.063485            24.967698         26.05059
total_intl_calls              37.3613313 23.415764            35.497785         33.03289
total_intl_charge             16.7925666 19.636891            24.498369         26.60077
number_customer_service_calls 79.7530696 59.731615            85.221845         67.29635

調用varlmPlot函數繪制變量重要性曲線

varImpPlot(churn.rf)

變量重要性示例
調用margin及plot函數并繪制邊緣累計分布圖：

margins.rf = margin(churn.rf,trainset)
plot(margins.rf)

隨機森林算法邊緣累積分布圖
還可以用直方圖來繪制隨機森林的邊緣分布：

hist(margins.rf,main = "Margines of Random Forest for churn dataset")


邊緣分布直方圖
調用boxplot繪制隨機森林各類別邊緣的箱線圖

boxplot(margins.rf ~ trainset$churn,main = "Margines of Random Forest for churn dataset by class")

隨機森林類別邊緣箱圖
原理：
隨機森林算法目標是通過將多個弱學習機（如單棵決策樹）組合得到一個強學習機，算法的處理過程與bagging方法非常相似，假設當擁有N個特征數為M的樣例，首先采用bootstrap對數據集進行采樣，每次隨機采樣N個樣本作為單個決策樹的訓練數據集。在每個節點，算法首先隨機選取m(m << M)個變量，從它們中間找到能夠提供最佳分割效果的預測屬性。
然后，算法在不剪枝的前提下生成單顆決策樹，最后從每個決策樹都得到一個分類預測結果。
如果是回歸分析，算法將取所有預測的平均值或者加權平均值作為最后剛出，如果是分類問題，則選擇類別預測眾數做為最終預測輸出。
隨機森林包括兩個參數，ntree（決策樹個數）和mtry（可用來尋找最佳特征的特征個數），而bagging算法只使用了一個ntree參數，因此，如果將mtry設置成與訓練數據集特征值一樣大時，隨機森林算法就等同于bagging算法。
本例利用randomForest包提供的隨機森林算法建立了分類模型，將importance值設置為“T”,以確保對預測器的重要性進行評估。
與bagging和boosting方法類似，一旦隨機森林的模型構建完成，我們就能利用其對測試數據集進行預測，并得到相應的分類表。
randomForest包還提供了importance和varlmpPlot函數則可以通過繪制平均精確度下降或者平均基尼下降曲線實現屬性重要性的可視化。