數據挖掘的常用方法、功能和一個聚類分析應用案例

一、數據挖掘的常用方法

利用數據挖掘進行數據分析常用的方法主要有分類、回歸分析、聚類、關聯規則、特征、變化和偏差分析、Web頁挖掘等，它們分別從不同的角度對數據進行挖掘。

分類。分類是找出數據庫中一組數據對象的共同特點并按照分類模式將其劃分為不同的類，其目的是通過分類模型，將數據庫中的數據項映射到某個給定的類別。它可以應用到客戶的分類、客戶的屬性和特征分析、客戶滿意度分析、客戶的購買趨勢預測等，如一個汽車零售商將客戶按照對汽車的喜好劃分成不同的類，這樣營銷人員就可以將新型汽車的廣告手冊直接郵寄到有這種喜好的客戶手中，從而大大增加了商業機會。

回歸分析。回歸分析方法反映的是事務數據庫中屬性值在時間上的特征，產生一個將數據項映射到一個實值預測變量的函數，發現變量或屬性間的依賴關系，其主要研究問題包括數據序列的趨勢特征、數據序列的預測以及數據間的相關關系等。它可以應用到市場營銷的各個方面，如客戶尋求、保持和預防客戶流失活動、產品生命周期分析、銷售趨勢預測及有針對性的促銷活動等。

聚類。聚類分析是把一組數據按照相似性和差異性分為幾個類別，其目的是使得屬于同一類別的數據間的相似性盡可能大，不同類別中的數據間的相似性盡可能小。它可以應用到客戶群體的分類、客戶背景分析、客戶購買趨勢預測、市場的細分等。

關聯規則。關聯規則是描述數據庫中數據項之間所存在的關系的規則，即根據一個事務中某些項的出現可導出另一些項在同一事務中也出現，即隱藏在數據間的關聯或相互關系。在客戶關系管理中，通過對企業的客戶數據庫里的大量數據進行挖掘，可以從大量的記錄中發現有趣的關聯關系，找出影響市場營銷效果的關鍵因素，為產品定位、定價與定制客戶群，客戶尋求、細分與保持，市場營銷與推銷，營銷風險評估和詐騙預測等決策支持提供參考依據。

特征。特征分析是從數據庫中的一組數據中提取出關于這些數據的特征式，這些特征式表達了該數據集的總體特征。如營銷人員通過對客戶流失因素的特征提取，可以得到導致客戶流失的一系列原因和主要特征，利用這些特征可以有效地預防客戶的流失。

變化和偏差分析。偏差包括很大一類潛在有趣的知識，如分類中的反常實例，模式的例外，觀察結果對期望的偏差等，其目的是尋找觀察結果與參照量之間有意義的差別。在企業危機管理及其預警中，管理者更感興趣的是那些意外規則。意外規則的挖掘可以應用到各種異常信息的發現、分析、識別、評價和預警等方面。

Web頁挖掘。隨著Internet的迅速發展及Web 的全球普及， 使得Web上的信息量無比豐富，通過對Web的挖掘，可以利用Web 的海量數據進行分析，收集政治、經濟、政策、科技、金融、各種市場、競爭對手、供求信息、客戶等有關的信息，集中精力分析和處理那些對企業有重大或潛在重大影響的外部環境信息和內部經營信息，并根據分析結果找出企業管理過程中出現的各種問題和可能引起危機的先兆，對這些信息進行分析和處理，以便識別、分析、評價和管理危機。

二、數據挖掘的功能

數據挖掘通過預測未來趨勢及行為，做出前攝的、基于知識的決策。數據挖掘的目標是從數據庫中發現隱含的、有意義的知識，主要有以下五類功能。

自動預測趨勢和行為：數據挖掘自動在大型數據庫中尋找預測性信息，以往需要進行大量手工分析的問題如今可以迅速直接由數據本身得出結論。一個典型的例子是市場預測問題，數據挖掘使用過去有關促銷的數據來尋找未來投資中回報最大的用戶，其它可預測的問題包括預報破產以及認定對指定事件最可能做出反應的群體。

關聯分析：數據關聯是數據庫中存在的一類重要的可被發現的知識。若兩個或多個變量的取值之間存在某種規律性，就稱為關聯。關聯可分為簡單關聯、時序關聯、因果關聯。關聯分析的目的是找出數據庫中隱藏的關聯網。有時并不知道數據庫中數據的關聯函數，即使知道也是不確定的，因此關聯分析生成的規則帶有可信度。

聚類：數據庫中的記錄可被化分為一系列有意義的子集，即聚類。聚類增強了人們對客觀現實的認識，是概念描述和偏差分析的先決條件。聚類技術主要包括傳統的模式識別方法和數學分類學。80年代初，Michalski提出了概念聚類技術，其要點是，在劃分對象時不僅考慮對象之間的距離，還要求劃分出的類具有某種內涵描述，從而避免了傳統技術的某些片面性。

概念描述：概念描述就是對某類對象的內涵進行描述，并概括這類對象的有關特征。概念描述分為特征性描述和區別性描述，前者描述某類對象的共同特征，后者描述不同類對象之間的區別。生成一個類的特征性描述只涉及該類對象中所有對象的共性。生成區別性描述的方法很多，如決策樹方法、遺傳算法等。

偏差檢測：數據庫中的數據常有一些異常記錄，從數據庫中檢測這些偏差很有意義。偏差包括很多潛在的知識，如分類中的反常實例、不滿足規則的特例、觀測結果與模型預測值的偏差、量值隨時間的變化等。偏差檢測的基本方法是，尋找觀測結果與參照值之間有意義的差別。

三、數據挖掘實例：聚類分析應用——市場細分

聚類是將數據分類到不同的類或者簇這樣的一個過程，所以同一個簇中的對象有很大的相似性，而不同簇間的對象有很大的相異性。

從統計學的觀點看，聚類分析是通過數據建模簡化數據的一種方法。傳統的統計聚類分析方法包括系統聚類法、分解法、加入法、動態聚類法、有序樣品聚類、有重疊聚類和模糊聚類等。

從機器學習的角度講，簇相當于隱藏模式。聚類是搜索簇的無監督學習過程。與分類不同，無監督學習不依賴預先定義的類或帶類標記的訓練實例，需要由聚類學習算法自動確定標記，而分類學習的實例或數據對象有類別標記。聚類是觀察式學習，而不是示例式的學習。

從實際應用的角度看，聚類分析是數據挖掘的主要任務之一。而且聚類能夠作為一個獨立的工具獲得數據的分布狀況，觀察每一簇數據的特征，集中對特定的聚簇集合作進一步地分析。聚類分析還可以作為其他算法(如分類和定性歸納算法)的預處理步驟。

聚類分析的核心思想就是物以類聚，人以群分。在市場細分領域，消費同一種類的商品或服務時，不同的客戶有不同的消費特點，通過研究這些特點，企業可以制定出不同的營銷組合，從而獲取最大的消費者剩余，這就是客戶細分的主要目的。在銷售片區劃分中，只有合理地將企業所擁有的子市場歸成幾個大的片區，才能有效地制定符合片區特點的市場營銷戰略和策略。金融領域，對基金或者股票進行分類，以選擇分類投資風險。

下面以一個汽車銷售的案例來介紹聚類分析在市場細分中的應用。

商業目標

業務理解：數據名稱《汽車銷售.csv》。該案例所用的數據是一份關于汽車的數據，該數據文件包含銷售值、訂價以及各種品牌和型號的車輛的物理規格。訂價和物理規格可以從 edmunds.com 和制造商處獲得。定價為美國本土售價。如下：

表1：數據視圖

業務目標：對市場進行準確定位，為汽車的設計和市場份額預測提供參考。

數據挖掘目標：通過聚類的方式對現有的車型進行分類。

數據準備

通過數據探索對數據的質量和字段的分布進行了解，并排除有問題的行或者列優化數據質量。

第一步，我們使用統計節點審核數據的質量，從審核結果中我們發現存在缺失的數據，如下圖所示：

第二步，對缺失的數據進行處理，我們選擇使用缺失填充節點刪除這些記錄。配置如下：

建模

我們選擇層次聚類進行分析，嘗試根據各種汽車的銷售量、價格、引擎、馬力、軸距、車寬、車長、制動、排量、油耗等指標對其分類。

因為層次聚類不能自動確定分類數量，因此需要我們以自定義的方式規定最后聚類的類別數。層次聚類節點配置如下(默認配置)：

可以使用交互表或者右擊層次聚類節點查看聚類的結果，如下圖所示：

再使用餅圖查看每個類的大小，結果如下：

從圖中可見，分成的三個類樣本數差異太大，cluster_0和cluster_1包含的樣本數都只有1，這樣的分類是沒有意義的，因此需要重新分類。我們嘗試在層次聚類節點的配置中指定新的聚類方法：完全。新的聚類樣本數分布如下：

cluster_0、 cluster_1、cluster_2的樣本數分別為：50、9、93。

執行后輸出樹狀/冰柱圖，可以從上往下看，一開始是一大類，往下走就分成了兩類，越往下分的類越多，最后細分到每一個記錄是一類，如下所示：

我們可以再使用條形圖查看每類的銷售量、平均價格，如下圖所示：

每類總銷量分布圖

每類平均銷量分布圖

每類平均價格分布圖

我們再看一下每類的銷售額分布情況。首先，我們需要使用Java代碼段節點或者派生節點生成銷售額字段，配置如下：

再使用餅圖查看銷售額分布情況，cluster_0、 cluster_1、cluster_2的市場份額分別為：32.39%、0.53%和67.08%，如下圖所示：

案例小結

通過這個案例，大家可以發現聚類分析確實很簡單。進行聚類計算后，主要通過圖形化探索的方式評估聚類合理性，以及在確定聚類后，分析每類的特征。

個人體會

這是筆者第一次按照AOSP-SM方法來進行數據挖掘，雖然更多的對教程進行了理論上的分析和體會，但是通過自己部分的操作感受到了Smart Mining軟件的人性化和功能強大。聚類與分類的不同之處在于，聚類所要求劃分的類是未知的。簡易的聚類分析是一種相對簡單而有十分實用的方法，如果使用得當，將會在市場細分、媒體分級和異常診斷等多個問題中發揮巨大的作用。

四、小結

通過今天的學習分享，我們對數據挖掘有了進一步的認識，并嘗試進行了第一次實際操作。雖然對于數據挖掘的了解仍然處于一個比較低級的層次，但筆者相信，通過不斷地努力與探索，我們可以越來越深入的感受到數據挖掘的魅力。