一小時了解數據挖掘⑤數據挖掘步驟＆常用的聚類、決策樹和CRISP-DM概念

數據挖掘有很多不同的實施方法，如果只是把數據拉到Excel表格中計算一下，那只是數據分析，不是數據挖掘。本文主要講解數據挖掘的基本規范流程。CRISP-DM和SEMMA是兩種常用的數據挖掘流程。

數據挖掘的一般步驟

從數據本身來考慮，數據挖掘通常需要有信息收集、數據集成、數據規約、數據清理、數據變換、數據挖掘實施過程、模式評估和知識表示8個步驟。

步驟（1）信息收集：數據分析師根據確定的數據分析對象，抽象出在數據分析中所需要的特征信息，然后選擇合適的信息收集方法，將收集到的信息存入數據庫。對于海量數據，選擇一個合適的數
據存儲和管理的數據倉庫是至關重要的。

步驟（2）數據集成：數據分析師把不同來源、格式、特點性質的數據在邏輯上或物理上有機地集中，從而為企業提供全面的數據共享。

步驟（3）數據規約：數據分析師如果執行多數的數據挖掘算法，即使是在少量數據上也需要很長的時間，而做商業運營數據挖掘時數據量往往非常大。數據規約技術可以用來得到數據集的規約表示，它小得多，但仍然接近于保持原數據的完整性，并且規約后執行數據挖掘結果與規約前執行結果相同或幾乎相同。

步驟（4）數據清理：在數據庫中的數據有一些是不完整的（有些感興趣的屬性缺少屬性值）、含噪聲的（包含錯誤的屬性值），并且是不一致的（同樣的信息不同的表示方式），因此需要進行數據清理，將完整、正確、一致的數據信息存入數據倉庫中。不然，挖掘的結果會差強人意。

步驟（5）數據變換：通過平滑聚集、數據概化、規范化等方式將數據轉換成適用于數據挖掘的形式。對于有些實數型數據，通過概念分層和數據的離散化來轉換數據也是重要的一步。

步驟（6）數據挖掘過程：根據數據倉庫中的數據信息，選擇合適的分析工具，應用統計方法、事例推理、決策樹、規則推理、模糊集，甚至神經網絡、遺傳算法的方法處理信息，得出有
用的分析信息。

步驟（7）模式評估：從商業角度，由行業專家來驗證數據挖掘結果的正確性。

步驟（8）知識表示：將數據挖掘所得到的分析信息以可視化的方式呈現給用戶，或作為新的知識存放在知識庫中，供其他應用程序使用。

數據挖掘過程是一個反復循環的過程，每一個步驟如果沒有達到預期目標，都需要回到前面的步驟，重新調整并執行。不是每件數據挖掘的工作都需要這里列出的每一步，例如在某個工作
中不存在多個數據源的時候，步驟（2）便可以省略。步驟（3）數據規約、步驟（4）數據清理、步驟（5）數據變換又合稱數據預處理。在數據挖掘中，至少60%的費用可能要花在步驟（1）信息收集階段，而其中至少60%以上的精力和時間花在了數據預處理過程中。

幾個數據挖掘中常用的概念

除了之前我們提到的分類，還有一些概念是我們在數據挖掘中常用的，比如聚類算法、時間序列算法、估計和預測以及關聯算法等。我們將在本節中介紹幾個常用概念以加深讀者對數據挖
掘的理解。

聚類

所謂聚類，就是類或簇（Cluster）的聚合，而類是一個數據對象的集合。

和分類一樣，聚類的目的也是把所有的對象分成不同的群組，但和分類算法的最大不同在于采用聚類算法劃分之前并不知道要把數據分成幾組，也不知道依賴哪些變量來劃分。

聚類有時也稱分段，是指將具有相同特征的人歸結為一組，將特征平均，以形成一個“特征矢量”或“矢心”。聚類系統通常能夠把相似的對象通過靜態分類的方法分成不同的組別或者更多的子集（Subset），這樣在同一個子集中的成員對象都有相似的一些屬性。聚類被一些提供商用來直接提供不同訪客群組或者客戶群組特征的報告。聚類算法是數據挖掘的核心技術之一，而除了本身的算法應用之外，聚類分析也可以作為數據挖掘算法中其他分析算法的一個預處理步驟。

下圖是聚類算法的一種展示。圖中的Cluster1和Cluster2分別代表聚類算法計算出的兩類樣本。打“+”號的是Cluster1，而打“○”標記的是Cluster2。

在商業中，聚類可以幫助市場分析人員從消費者數據庫中區分出不同的消費群體，并且概括出每一類消費者的消費模式或者消費習慣。它作為數據挖掘中的一個模塊，可以作為一個單獨的工具以發現數據庫中分布的一些深層次的信息，或者把注意力放在某一個特定的類上以作進一步的分析并概括出每一類數據的特點。

在商業中，聚類可以幫助市場分析人員從消費者數據庫中區分出不同的消費群體，并且概括出每一類消費者的消費模式或者消費習慣。它作為數據挖掘中的一個模塊，可以作為一個單獨的工具以發現數據庫中分布的一些深層次的信息，或者把注意力放在某一個特定的類上以作進一步的分析并概括出每一類數據的特點。

聚類分析的算法可以分為劃分法（Partitioning Methods）、 層次法（Hierarchical Methods）、基于密度的方法（Density-Based Methods）、基于網格的方法（Grid-Based Methods）和基于模型的方法（Model-Based Methods）等。

比如，下面幾個場景比較適合應用聚類算法，同時又有相應的商業應用：

哪些特定癥狀的聚集可能預示什么特定的疾??？

租同一類型車的是哪一類客戶？

網絡游戲上增加什么功能可以吸引哪些人來？

哪些客戶是我們想要長期保留的客戶？

聚類算法除了本身的應用之外還可以作為其他數據挖掘方法的補充，比如聚類算法可以用在數據挖掘的第一步，因為不同聚類中的個體相似度可能差別比較大。例如，哪一種類的促銷對客戶響應最好？對于這一類問題，首先對整個客戶做聚集，將客戶分組在各自的聚集里，然后對每個不同的聚集，再通過其他數據挖掘算法來分析，效果會更好。

后面的文章中我們還會詳細介紹聚類算法是如何實現的。本文中多次提到的RFM模型也是基于聚類算法的數據挖掘模型。而在營銷領域的客戶關系管理中，RFM聚類模型也是最經常被使用的一種模型。

估測和預測

估測（Estimation）和預測（Prediction）是數據挖掘中比較常用的應用。估測應用是用來猜測現在的未知值，而預測應用是預測未來的某一個未知值。估測和預測在很多時候可以使用同樣的算法。估測通常用來為一個存在但是未知的數值填空，而預測的數值對象發生在將來，往往目前并不存在。舉例來說，如果我們不知道某人的收入，可以通過與收入密切相關的量來估測，然后找到具有類似特征的其他人，利用他們的收入來估測未知者的收入和信用值。還是以某人的未來收入為例來談預測，我們可以根據歷史數據來分析收入和各種變量的關系以及時間序列的變化，從而預測他在未來某個時間點的具體收入會是多少。

估測和預測在很多時候也可以連起來應用。比如我們可以根據購買模式來估測一個家庭的孩子個數和家庭人口結構?；蛘吒鶕徺I模式，估測一個家庭的收入，然后預測這個家庭將來最需要的產品和數量，以及需要這些產品的時間點。

對于估測和預測所做的數據分析可以稱作預測分析（Predictive Analysis），而因為應用非常普遍，現在預測分析被不少商業客戶和數據挖掘行業的從業人員當作數據挖掘的同義詞。

我們在數據分析中經常聽到的回歸分析（Regression Analysis）就是經常被用來做估測和預測的分析方法。所謂回歸分析，或者簡稱回歸，指的是預測多個變量之間相互關系的技術，而這門技術在數據挖掘中的應用是非常廣泛的。

決策樹

在所有的數據挖掘算法中，最早在提到的決策樹可能是最容易讓人理解的數據挖掘過程。決策樹本質上是導致做出某項決策的問題或數據點的流程圖。比如購買汽車的決策樹可以從是否需要2012年的新型汽車開始，接著詢問所需車型，然后詢問用戶需要動力型車還是經濟型車等，直到確定用戶所最需要的車為止。決策樹系統設法創建最優路徑，將問題排序，這樣，經過最少的步驟，便可以做出決定。

據統計，在2012年，被數據挖掘業者使用頻率最高的三類算法是決策樹、回歸和聚類分析。而且因為決策樹的直觀性，幾乎所有的數據挖掘的專業書籍都是從某一個決策樹算法開始講起的：如ID3/C4.5/C5.0，CART，QUEST，CHAID等。

有些決策樹做得很精細，用到了數據大部分的屬性，這時，我們可能闖入了一個誤區，因為在決策樹算法上我們需要避免的一個問題是把決策樹構建得過大，過于復雜。過于復雜的決策樹往往會過度擬合（Over-Fitting），不穩定，而且有時候無法詮釋。

這時我們可以把一棵大的決策樹分解成多棵較小的決策樹來解決這一問題。

我們來看一個商用的決策樹實例。下圖中展示的是用IBM SPSS Modeler數據挖掘軟件構建的一棵決策樹，是美國商業銀行用以判斷客戶的信用等級的決策樹模型。

上圖是根據收入、信用卡數量和年齡構建的決策樹，并以80%的準確率作為劃分的閾值。第一個分支查的是收入，設立了兩個關鍵數據分隔點，按照收入把人群先劃分成3組：低收入、中等收入和高收入。其中低收入的節點直接變成葉子節點，這組人中82.0976%的人的信用等級是差的（Bad），而且信用卡個數或者年齡對信用等級的分類沒有幫助。決策樹的第二層判斷是根據已經擁有的信用卡個數。以此作為判斷，高收入人群可以再做劃分。其中擁有卡個數在5個或以上的82.4176%信用等級是優質的（Good），而擁有卡的數量在5張以下的，高達96.8944%的人信用等級是優質的。因為這棵樹一共有6個葉子節點，所我們最終劃分出6組人群，其中有一組信用等級為優質的人群占比56.3147%，是無法判斷的。其中在數據上表現最好的是高收入而信用卡個數在5張以下的人，把他們判斷為優質信用等級有96.8944%的準確率。

如果我們手里還有別的數據，比如是否有房有車，是否結婚等，那么通過測試，可以進一步提高這棵決策樹的精度。

CRISP-DM

1999年，在歐盟（European Commission）的資助下，由SPSS、DaimlerChrysler、NCR和OHRA發起的CRISP-DM Special Interest Group 組織開發并提煉出CRISP-DM（CRoss-Industry Standard Process for Data Mining），進行了大規模數據挖掘項目的實際試用。

CRISP-DM提供了一個數據挖掘生命周期的全面評述。它包括項目的相應周期，它們的各自任務和這些任務的關系。在這個描述層，識別出所有關系是不可能的。所有數據挖掘任務之間關系的存在是依賴用戶的目的、背景和興趣，最重要的還有數據。SIG組織已經發布了CRISP-DM Process Guide and User Manual的電子版。在這個組織中，除了SPSS是數據挖掘軟件提供商，其他的幾個發起者都是數據挖掘的應用方。所以CRISP-DM和SPSS自有開發的SPSS Modeler契合度非常好。

一個數據挖掘項目的生命周期包含六個階段。這六個階段的順序是不固定的，我們經常需要前后調整這些階段。這依賴每個階段或是階段中特定任務的產出物是否是下一個階段必須的輸入，下圖中箭頭指出了最重要的和依賴度高的階段關系。

上中最外面這一圈表示數據挖掘自身的循環本質，每一個解決方案發布之后代表另一個數據挖掘的過程也已經開始了。在這個過程中得到的知識可以觸發新的，經常是更聚焦的商業問題。后續的過程可以從前一個過程中得到益處。

我們把CRISP-DM的數據挖掘生命周期中的六個階段，也就是上圖中的概念解釋如下：

業務理解（Business Understanding）

最初的階段集中在理解項目目標和從業務的角度理解需求，同時將這個知識轉化為數據挖掘問題的定義和完成目標的初步計劃。

數據理解（Data Understanding）

數據理解階段從初始的數據收集開始，通過一些活動的處理，目的是熟悉數據，識別數據的質量問題，首次發現數據的內部屬性，或是探測引起興趣的子集去形成隱含信息的假設。

數據準備（Data Preparation）

數據準備階段包括從未處理的數據中構造最終數據集的所有活動。這些數據將是模型工具的輸入值。這個階段的任務能執行多次，沒有任何規定的順序。任務包括表、記錄和屬性的選擇，以及為模型工具轉換和清洗數據。

建模（Modeling）

在這個階段，可以選擇和應用不同的模型技術，模型參數被調整到最佳的數值。一般，有些技術可以解決一類相同的數據挖掘問題。有些技術在數據形成上有特殊要求，因此需要經常跳回到數據準備階段。

評估（Evaluation）

到這個階段，數據分析師已經從數據分析的角度建立了一個高質量顯示的模型。在開始最后部署模型之前，重要的事情是徹底地評估模型，檢查構造模型的步驟，確保模型可以完成業務目標。這個階段的關鍵目的是確定是否有重要業務問題沒有被充分的考慮。在這個階段結束后，一個數據挖掘結果使用的決定必須達成。