Python數據挖掘之決策樹DTC數據分析及鳶尾數據集分析

 今天主要講述的內容是關于決策樹的知識，主要包括以下內容：1.分類及決策樹算法介紹2.鳶尾花卉數據集介紹3.決策樹實現鳶尾數據集分析。希望這篇文章對你有所幫助，尤其是剛剛接觸數據挖掘以及大數據的同學，同時準備嘗試以案例為主的方式進行講解。如果文章中存在不足或錯誤的地方，還請海涵~

一. 分類及決策樹介紹

1.分類
        分類其實是從特定的數據中挖掘模式，作出判斷的過程。比如Gmail郵箱里有垃圾郵件分類器，一開始的時候可能什么都不過濾，在日常使用過程中，我人工對于每一封郵件點選“垃圾”或“不是垃圾”，過一段時間，Gmail就體現出一定的智能，能夠自動過濾掉一些垃圾郵件了。
        這是因為在點選的過程中，其實是給每一條郵件打了一個“標簽”，這個標簽只有兩個值，要么是“垃圾”，要么“不是垃圾”，Gmail就會不斷研究哪些特點的郵件是垃圾，哪些特點的不是垃圾，形成一些判別的模式，這樣當一封信的郵件到來，就可以自動把郵件分到“垃圾”和“不是垃圾”這兩個我們人工設定的分類的其中一個。

        分類學習主要過程如下：
       （1）訓練數據集存在一個類標記號，判斷它是正向數據集（起積極作用，不垃圾郵件），還是負向數據集（起抑制作用，垃圾郵件）；
       （2）然后需要對數據集進行學習訓練，并構建一個訓練的模型；
       （3）通過該模型對預測數據集進預測，并計算其結果的性能。

2.決策樹（decision tree）
        決策樹是用于分類和預測的主要技術之一，決策樹學習是以實例為基礎的歸納學習算法，它著眼于從一組無次序、無規則的實例中推理出以決策樹表示的分類規則。構造決策樹的目的是找出屬性和類別間的關系，用它來預測將來未知類別的記錄的類別。它采用自頂向下的遞歸方式，在決策樹的內部節點進行屬性的比較，并根據不同屬性值判斷從該節點向下的分支，在決策樹的葉節點得到結論。
        決策樹算法根據數據的屬性采用樹狀結構建立決策模型， 決策樹模型常用來解決分類和回歸問題。常見的算法包括：分類及回歸樹（Classification And Regression Tree， CART）， ID3 (Iterative Dichotomiser 3)， C4.5， Chi-squared Automatic Interaction Detection(CHAID), Decision Stump, 隨機森林（Random Forest）， 多元自適應回歸樣條（MARS）以及梯度推進機（Gradient Boosting Machine， GBM）。
        決策數有兩大優點：1）決策樹模型可以讀性好，具有描述性，有助于人工分析；2）效率高，決策樹只需要一次構建，反復使用，每一次預測的最大計算次數不超過決策樹的深度。

        示例1：
        下面舉兩個例子，參考下面文章，強烈推薦大家閱讀，尤其是決策樹原理。
        算法雜貨鋪——分類算法之決策樹(Decision tree) - leoo2sk
        這個也是我上課講述的例子，引用上面文章的。通俗來說，決策樹分類的思想類似于找對象?，F想象一個女孩的母親要給這個女孩介紹男朋友，于是有了下面的對話：

      女兒：多大年紀了？
      母親：26。
      女兒：長的帥不帥？
      母親：挺帥的。
      女兒：收入高不？
      母親：不算很高，中等情況。
      女兒：是公務員不？
      母親：是，在稅務局上班呢。
      女兒：那好，我去見見。

        這個女孩的決策過程就是典型的分類樹決策。相當于通過年齡、長相、收入和是否公務員對將男人分為兩個類別：見和不見。假設這個女孩對男人的要求是：30歲以下、長相中等以上并且是高收入者或中等以上收入的公務員，那么這個可以用下圖表示女孩的決策邏輯。

        示例2：
        另一個課堂上的例子，參考CSDN的大神lsldd的文章，推薦大家閱讀學習信息熵。
        用Python開始機器學習（2：決策樹分類算法）
        假設要構建這么一個自動選好蘋果的決策樹，簡單起見，我只讓他學習下面這4個樣本：
[python] view plain copy 在CODE上查看代碼片派生到我的代碼片
樣本    紅     大      好蘋果    
0       1      1         1    
1       1      0         1    
2       0      1         0    
3       0      0         0    
        樣本中有2個屬性，A0表示是否紅蘋果。A1表示是否大蘋果。
        本例僅2個屬性。那么很自然一共就只可能有2棵決策樹，如下圖所示：

        示例3：
        第三個例子，推薦這篇文章：決策樹學習筆記整理 - bourneli

        決策樹構建的基本步驟如下：
        1. 開始，所有記錄看作一個節點；
        2. 遍歷每個變量的每一種分割方式，找到最好的分割點；
        3. 分割成兩個節點N1和N2；
        4. 對N1和N2分別繼續執行2-3步，直到每個節點足夠“純”為止。
二. 鳶尾花卉Iris數據集
        在Sklearn機器學習包中，集成了各種各樣的數據集，上節課講述Kmeans使用的是一個NBA籃球運動員數據集，需要定義X多維矩陣或讀取文件導入，而這節課使用的是鳶尾花卉Iris數據集，它是很常用的一個數據集。
        數據集來源：Iris plants data set - KEEL dataset
        該數據集一共包含4個特征變量，1個類別變量。共有150個樣本，鳶尾有三個亞屬，分別是山鳶尾 (Iris-setosa)，變色鳶尾(Iris-versicolor)和維吉尼亞鳶尾(Iris-virginica)。
        iris是鳶尾植物，這里存儲了其萼片和花瓣的長寬，共4個屬性，鳶尾植物分三類。

        iris里有兩個屬性iris.data，iris.target。
        data里是一個矩陣，每一列代表了萼片或花瓣的長寬，一共4列，每一列代表某個被測量的鳶尾植物，一共采樣了150條記錄。代碼如下：
[python] view plain copy 在CODE上查看代碼片派生到我的代碼片
#導入數據集iris  
from sklearn.datasets import load_iris   
 
#載入數據集  
iris = load_iris()  
#輸出數據集  
print iris.data  
         輸出如下所示：
[python] view plain copy 在CODE上查看代碼片派生到我的代碼片
[[ 5.1  3.5  1.4  0.2]  
 [ 4.9  3.   1.4  0.2]  
 [ 4.7  3.2  1.3  0.2]  
 [ 4.6  3.1  1.5  0.2]  
 [ 5.   3.6  1.4  0.2]  
 [ 5.4  3.9  1.7  0.4]  
 [ 4.6  3.4  1.4  0.3]  
 [ 5.   3.4  1.5  0.2]  
 [ 4.4  2.9  1.4  0.2]  
 ....  
 [ 6.7  3.   5.2  2.3]  
 [ 6.3  2.5  5.   1.9]  
 [ 6.5  3.   5.2  2. ]  
 [ 6.2  3.4  5.4  2.3]  
 [ 5.9  3.   5.1  1.8]]  
         target是一個數組，存儲了data中每條記錄屬于哪一類鳶尾植物，所以數組的長度是150，數組元素的值因為共有3類鳶尾植物，所以不同值只有3個。種類：
         Iris Setosa（山鳶尾）
         Iris Versicolour（雜色鳶尾）
         Iris Virginica（維吉尼亞鳶尾）
[python] view plain copy 在CODE上查看代碼片派生到我的代碼片
#輸出真實標簽  
print iris.target  
print len(iris.target)  
#150個樣本 每個樣本4個特征  
print iris.data.shape    
        輸出結果如下：
[python] view plain copy 在CODE上查看代碼片派生到我的代碼片
[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0  
 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1  
 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2  
 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2  
 2 2]  
150  
(150L, 4L)  
        可以看到，類標共分為三類，前面50個類標位0，中間50個類標位1，后面為2。
        下面給詳細介紹使用決策樹進行對這個數據集進行測試的代碼。

三. 決策樹實現鳶尾數據集分析

1. DecisionTreeClassifier
        Sklearn機器學習包中，決策樹實現類是DecisionTreeClassifier，能夠執行數據集的多類分類。
        輸入參數為兩個數組X[n_samples,n_features]和y[n_samples],X為訓練數據，y為訓練數據的標記數據。
        DecisionTreeClassifier構造方法為：
[python] view plain copy 在CODE上查看代碼片派生到我的代碼片
sklearn.tree.DecisionTreeClassifier(criterion='gini'  
                      , splitter='best'  
                      , max_depth=None  
                      , min_samples_split=2  
                      , min_samples_leaf=1  
                      , max_features=None  
                      , random_state=None  
                      , min_density=None  
                      , compute_importances=None  
                      , max_leaf_nodes=None)  
        鳶尾花數據集使用決策樹的代碼如下：
[python] view plain copy 在CODE上查看代碼片派生到我的代碼片
# -*- coding: utf-8 -*-  
"""
Created on Fri Oct 14 21:44:19 2016
 
@author: 楊秀璋
"""  
 
#導入數據集iris  
from sklearn.datasets import load_iris   
 
#載入數據集  
iris = load_iris()  
 
print iris.data          #輸出數據集  
print iris.target        #輸出真實標簽  
print len(iris.target)  
print iris.data.shape    #150個樣本 每個樣本4個特征  
 
 
#導入決策樹DTC包  
from sklearn.tree import DecisionTreeClassifier  
 
#訓練  
clf = DecisionTreeClassifier()  
clf.fit(iris.data, iris.target)  
print clf  
 
#預測  
predicted = clf.predict(iris.data)  
 
#獲取花卉兩列數據集  
X = iris.data  
L1 = [x[0] for x in X]  
print L1  
L2 = [x[1] for x in X]  
print L2  
 
#繪圖  
import numpy as np  
import matplotlib.pyplot as plt  
plt.scatter(L1, L2, c=predicted, marker='x')  #cmap=plt.cm.Paired  
plt.title("DTC")  
plt.show()  
        輸出結果如下所示，可以看到分位三類，分別代表數據集三種鳶尾植物。

2.代碼優化
        在課堂上我講過，這里存在兩個問題：
        1.前面鳶尾Iris數據集包括四個特征（萼片長度、萼片寬度、花瓣長度、花瓣寬度），上面代碼中"L1 = [x[0] for x in X]"我獲取了第一列和第二列數據集進行的繪圖，而真是數據集中可能存在多維特征，那怎么實現呢？
        這里涉及到一個降維操作，后面會詳細介紹。
        2.第二個問題是，分類學習模型如下所示，它的預測是通過一組新的數據集。

        而上面的代碼"predicted = clf.predict(iris.data)"是對整個的數據集進行決策樹分析，而真是的分類分析，需要把一部分數據集作為訓練，一部分作為預測，這里使用70%的訓練，30%的進行預測。代碼如下：

[python] view plain copy 在CODE上查看代碼片派生到我的代碼片
#訓練集  
train_data = np.concatenate((iris.data[0:40, :], iris.data[50:90, :], iris.data[100:140, :]), axis = 0)  
#訓練集樣本類別  
train_target = np.concatenate((iris.target[0:40], iris.target[50:90], iris.target[100:140]), axis = 0)  
#測試集  
test_data = np.concatenate((iris.data[40:50, :], iris.data[90:100, :], iris.data[140:150, :]), axis = 0)  
#測試集樣本類別  
test_target = np.concatenate((iris.target[40:50], iris.target[90:100], iris.target[140:150]), axis = 0)  
        優化后的完整代碼如下所示，同時輸出準確率、召回率等。
[python] view plain copy 在CODE上查看代碼片派生到我的代碼片
# -*- coding: utf-8 -*-  
"""
Created on Fri Oct 14 21:44:19 2016
 
@author: 楊秀璋
"""  
 
#導入數據集iris  
from sklearn.datasets import load_iris   
 
#載入數據集  
iris = load_iris()  
 
'''''
print iris.data          #輸出數據集
print iris.target        #輸出真實標簽
print len(iris.target)
print iris.data.shape    #150個樣本 每個樣本4個特征
'''  
 
'''''
重點：分割數據集 構造訓練集/測試集，120/30
     70%訓練  0-40  50-90  100-140
     30%預測  40-50 90-100 140-150
'''  
#訓練集  
train_data = np.concatenate((iris.data[0:40, :], iris.data[50:90, :], iris.data[100:140, :]), axis = 0)  
#訓練集樣本類別  
train_target = np.concatenate((iris.target[0:40], iris.target[50:90], iris.target[100:140]), axis = 0)  
#測試集  
test_data = np.concatenate((iris.data[40:50, :], iris.data[90:100, :], iris.data[140:150, :]), axis = 0)  
#測試集樣本類別  
test_target = np.concatenate((iris.target[40:50], iris.target[90:100], iris.target[140:150]), axis = 0)  
 
 
#導入決策樹DTC包  
from sklearn.tree import DecisionTreeClassifier  
 
#訓練  
clf = DecisionTreeClassifier()  
#注意均使用訓練數據集和樣本類標  
clf.fit(train_data, train_target)  
print clf  
 
#預測結果  
predict_target = clf.predict(test_data)  
print predict_target  
 
#預測結果與真實結果比對  
print sum(predict_target == test_target)  
 
#輸出準確率 召回率 F值  
from sklearn import metrics  
print(metrics.classification_report(test_target, predict_target))  
print(metrics.confusion_matrix(test_target, predict_target))  
 
 
#獲取花卉測試數據集兩列數據集  
X = test_data  
L1 = [n[0] for n in X]  
print L1  
L2 = [n[1] for n in X]  
print L2  
 
#繪圖  
import numpy as np  
import matplotlib.pyplot as plt  
plt.scatter(L1, L2, c=predict_target, marker='x')  #cmap=plt.cm.Paired  
plt.title("DecisionTreeClassifier")  
plt.show()  
        輸出結果如下：
[python] view plain copy 在CODE上查看代碼片派生到我的代碼片
DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=None,  
            max_features=None, max_leaf_nodes=None, min_samples_leaf=1,  
            min_samples_split=2, min_weight_fraction_leaf=0.0,  
            presort=False, random_state=None, splitter='best')  
[0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2]  
30  
             precision    recall  f1-score   support  
 
          0       1.00      1.00      1.00        10  
          1       1.00      1.00      1.00        10  
          2       1.00      1.00      1.00        10  
 
avg / total       1.00      1.00      1.00        30  
 
[[10  0  0]  
 [ 0 10  0]  
 [ 0  0 10]]  
        繪制圖形如下所示：

3.補充知識
        最后補充Skleaern官網上的一個決策樹的例子，推薦大家學習。
        推薦地址：Plot the decision surface of a decision tree on the iris dataset
        代碼如下：

[python] view plain copy 在CODE上查看代碼片派生到我的代碼片
# -*- coding: utf-8 -*-  
"""
Created on Wed Oct 12 23:30:34 2016
 
@author: yxz15
"""  
 
print(__doc__)  
 
import numpy as np  
import matplotlib.pyplot as plt  
 
from sklearn.datasets import load_iris  
from sklearn.tree import DecisionTreeClassifier  
 
# Parameters  
n_classes = 3  
plot_colors = "bry"  
plot_step = 0.02  
 
# Load data  
iris = load_iris()  
 
for pairidx, pair in enumerate([[0, 1], [0, 2], [0, 3],  
                                [1, 2], [1, 3], [2, 3]]):  
    # We only take the two corresponding features  
    X = iris.data[:, pair]  
    y = iris.target  
 
    # Train  
    clf = DecisionTreeClassifier().fit(X, y)  
 
    # Plot the decision boundary  
    plt.subplot(2, 3, pairidx + 1)  
 
    x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1  
    y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1  
    xx, yy = np.meshgrid(np.arange(x_min, x_max, plot_step),  
                         np.arange(y_min, y_max, plot_step))  
 
    Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])  
    Z = Z.reshape(xx.shape)  
    cs = plt.contourf(xx, yy, Z, cmap=plt.cm.Paired)  
 
    plt.xlabel(iris.feature_names[pair[0]])  
    plt.ylabel(iris.feature_names[pair[1]])  
    plt.axis("tight")  
 
    # Plot the training points  
    for i, color in zip(range(n_classes), plot_colors):  
        idx = np.where(y == i)  
        plt.scatter(X[idx, 0], X[idx, 1], c=color, label=iris.target_names[i],  
                    cmap=plt.cm.Paired)  
 
    plt.axis("tight")  
 
plt.suptitle("Decision surface of a decision tree using paired features")  
plt.legend()  
plt.show()  
        輸出如下所示：

         繪制可視化決策樹圖部分，總是報錯：
         AttributeError: 'NoneType' object has no attribute 'write'
[python] view plain copy 在CODE上查看代碼片派生到我的代碼片
'''''
生成可視化訓練好的決策樹
詳見：http://scikit-learn.org/stable/modules/tree.html
'''  
from sklearn.externals.six import StringIO  
from sklearn.tree import export_graphviz  
with open("iris.dot", 'w') as f:  
    f = export_graphviz(clf, out_file=f)  
 
import pydotplus   
from sklearn import tree  
dot_data = tree.export_graphviz(clf, out_file=None)   
graph = pydotplus.graph_from_dot_data(dot_data)   
graph.write_pdf("iris.pdf")   
 
from IPython.display import Image    
from sklearn import tree  
import pydotplus   
dot_data = tree.export_graphviz(clf, out_file="tree.dot",   
                         feature_names=iris.feature_names,    
                         class_names=iris.target_names,    
                         filled=True, rounded=True,    
                         special_characters=True)    
graph = pydotplus.graph_from_dot_data(dot_data)    
Image(graph.create_png())   
        其中iris.dot數據如下所示：

[python] view plain copy 在CODE上查看代碼片派生到我的代碼片
digraph Tree {  
node [shape=box] ;  
0 [label="X[2] <= 2.6\ngini = 0.6667\nsamples = 120\nvalue = [40, 40, 40]"] ;  
1 [label="gini = 0.0\nsamples = 40\nvalue = [40, 0, 0]"] ;  
0 -> 1 [labeldistance=2.5, labelangle=45, headlabel="True"] ;  
2 [label="X[3] <= 1.75\ngini = 0.5\nsamples = 80\nvalue = [0, 40, 40]"] ;  
0 -> 2 [labeldistance=2.5, labelangle=-45, headlabel="False"] ;  
3 [label="X[2] <= 4.95\ngini = 0.2014\nsamples = 44\nvalue = [0, 39, 5]"] ;  
2 -> 3 ;  
4 [label="X[3] <= 1.65\ngini = 0.0512\nsamples = 38\nvalue = [0, 37, 1]"] ;  
3 -> 4 ;  
5 [label="gini = 0.0\nsamples = 37\nvalue = [0, 37, 0]"] ;  
4 -> 5 ;  
6 [label="gini = 0.0\nsamples = 1\nvalue = [0, 0, 1]"] ;  
4 -> 6 ;  
7 [label="X[3] <= 1.55\ngini = 0.4444\nsamples = 6\nvalue = [0, 2, 4]"] ;  
3 -> 7 ;  
8 [label="gini = 0.0\nsamples = 3\nvalue = [0, 0, 3]"] ;  
7 -> 8 ;  
9 [label="X[0] <= 6.95\ngini = 0.4444\nsamples = 3\nvalue = [0, 2, 1]"] ;  
7 -> 9 ;  
10 [label="gini = 0.0\nsamples = 2\nvalue = [0, 2, 0]"] ;  
9 -> 10 ;  
11 [label="gini = 0.0\nsamples = 1\nvalue = [0, 0, 1]"] ;  
9 -> 11 ;  
12 [label="X[2] <= 4.85\ngini = 0.054\nsamples = 36\nvalue = [0, 1, 35]"] ;  
2 -> 12 ;  
13 [label="X[1] <= 3.1\ngini = 0.4444\nsamples = 3\nvalue = [0, 1, 2]"] ;  
12 -> 13 ;  
14 [label="gini = 0.0\nsamples = 2\nvalue = [0, 0, 2]"] ;  
13 -> 14 ;  
15 [label="gini = 0.0\nsamples = 1\nvalue = [0, 1, 0]"] ;  
13 -> 15 ;  
16 [label="gini = 0.0\nsamples = 33\nvalue = [0, 0, 33]"] ;  
12 -> 16 ;  
}  
        想生成如下圖，希望后面能修改。也可以進入shell下輸入命令：

[python] view plain copy 在CODE上查看代碼片派生到我的代碼片
$ sudo apt-get install graphviz   
$ dot -Tpng iris.dot -o tree.png  # 生成png圖片  
$ dot -Tpdf iris.dot -o tree.pdf  # 生成pdf  

        最后文章對你有所幫助。