數據挖掘的入門概念

1 數據挖掘

數據挖掘(Data Mining，簡稱DM)，是指從大量的數據中，挖掘出未知的且有價值的信息和知識的過程。

2 機器學習 與 數據挖掘

與數據挖掘類似的有一個術語叫做”機器學習“，這兩個術語在本質上的區別不大，如果在書店分別購買兩本講數據挖掘和機器學習的書籍，書中大部分內容都是互相重復的。具體來說，小的區別如下：

機器學習：更側重于技術方面和各種算法，一般提到機器學習就會想到語音識別，圖像視頻識別，機器翻譯，無人駕駛等等各種其他的模式識別，甚至于谷歌大腦等AI，這些東西的一個共同點就是極其復雜的算法，所以說機器學習的核心就是各種精妙的算法。

數據挖掘：更偏向于“數據”而非算法，而且包括了很多數據的前期處理，用爬蟲爬取數據，然后做數據的清洗，數據的整合，數據有效性檢測，數據可視化(畫圖)等等，最后才是用一些統計的或者機器學習的算法來抽取某些有用的“知識”。前期數據處理的工作比較多。

所以，數據挖掘的范疇要更廣泛一些。

3 數據挖掘所覆蓋的學科

數據挖掘是一門交叉學科，覆蓋了統計學、計算機程序設計、數學與算法、數據庫、機器學習、市場營銷、數據可視化等領域的理論和實踐成果

4 數據挖掘的誤區

誤區一：算法至上論。認為數據挖據是某些對大量數據操作的算法，這些算法能夠自動地發現新的知識。

誤區二：技術至上論。認為數據挖據必須需要非常高深的分析技能，需要精通高深的數據挖掘算法，需要熟練程序開發設計。

這兩種認知都有一定的偏頗。實際上，數據挖掘本質上是人們處理商業問題的方法，通過適量的數據挖掘來獲得有價值的結果，技術在隨著大數據時代的來臨變得愈發重要，但是最好的數據挖掘工程師往往是那些熟悉和理解業務的人。

5 數據挖掘能解決什么問題

商業上的問題多種多樣，例如：

“如何能降低用戶流失率?”

“某個用戶是否會響應本次營銷活動?“

"如何細分現有目標市場?"

“如何制定交叉銷售策略以提升銷售額?”

“如何預測未來銷量?”

從數據挖掘的角度看，都可以轉換為五類問題：

分類問題

聚類問題

回歸問題

關聯分析

推薦系統

5.1 分類問題

簡單來說，就是根據已經分好類的一推數據，分析每一類的潛在特征建立分類模型。對于新數據，可以輸出新出具屬于每一類的概率。

比如主流郵箱都具備的垃圾郵件識別功能：一開始，正常郵件和垃圾郵件都是混合在一起的，如果我們手工去點擊哪些是垃圾郵件，逐漸的，垃圾郵件就會自動被識別放到垃圾文件夾。如果我們對于混在正常郵件中的垃圾持續進行判斷，系統的識別率就會越來越高。我們人工點擊判斷，相當于預先分類(兩類：垃圾郵件和非垃圾郵件)，系統就會自己學習兩類郵件的特征建立模式，對于新郵件，會根據模式判斷屬于每個類別的可能性。

分類算法示意

5.2 聚類問題

和分類算法是不同概念，但是工作中業務人員經常誤用。 聚類的的目的也是把數據分類，但類別并不是預先定義的，算法根據“物以類聚”的原則，判斷各條數據之間的相似性，相似的就歸為一類。

比如我有十萬消費者的信息數據，比如包括性別，年齡，收入，消費等，通過聚類的方法事可以把這些數據分成不同的群，理論上每群用戶內都是相似性較高的，就可以覆蓋分群用戶制定不同的策略

聚類算法示意

5.3 回歸問題

回歸問題和分類問題有點類似，但是回歸問題中的因變量是一個數值，而分類問題，最終輸出的因變量是一個類別。簡單理解，就是定義一個因變量，在定義若干自變量，找到一個數學公式，描述自變量和因變量之間的關系。

比如，我們要研究房價(Y)，然后收集房子距離市中心的距離(X1)，面積(X2)，收集足夠多的房子的數據，就可以建立一個房價和距離、面積的方程式(例如Y=aX1+bX2)，這樣給出一個新的距離和面積數據，就可以預測這個房子的價格。

回歸問題示意

5.4 關聯分析

關聯分析主要就是指”購物籃分析“，很有名氣案例是【啤酒與尿布】的故事，”據說“這是一個真實的案例：沃爾瑪在分析銷售記錄時，發現啤酒和尿布經常一起被購買，于是他們調整了貨架，把兩者放在一起，結果真的提升了啤酒的銷量。后來還分析背后的原因，說是因為爸爸在給寶寶買尿布的時候，會順便給自己買點啤酒……

所以，關聯分析就是基于數據識別產品之間潛在的關聯，識別有可能頻繁發生的模式。

5.5 推薦系統

利用電子商務網站向客戶提供商品信息和建議，幫助用戶決定應該購買什么產品，模擬銷售人員幫助客戶完成購買過程。也就是平時我們在瀏覽電商網站、視頻網站、新聞App中的"猜你喜歡"、“其他人也購買了XXX”等類似的功能。

5.6 數據挖掘的工作流程

數據挖掘的通用流程叫做CRISP-DM(Cross Industry Standard Process-Data Mining)數據挖掘方法論。

CRISP-DM

6.1 商業理解

商業理解階段主要完成對商業問題的界定，以及對企業內外部資源進行評估與組織，最終確定將企業的商業目標轉化為數據挖掘目標，并制定項目的方案

6.2 數據理解

了解企業目前數據現狀，提出數據需求，并盡可能多的收集數據。通過初步的數據探索，快速了解數據的質量

6.3 數據準備

在建立數據挖掘模型之前對數據做最后的準備工作，主要是把收集到的各部分數據關聯起來，形成一張最終數據寬表。這個階段其實是耗時最長的階段，一般會占據整個數據挖掘項目的70%左右的時間，包括數據導入、數據抽取、數據清洗、數據合并、新變量計算等工作。

6.4 模型構建

模型構建是數據挖掘工作的核心階段。主要包括準備模型的訓練集和驗證集，選擇并使用適當的建模技術和算法，模型建立，模型效果對比等工作

6.5 模型評估

模型評估主要從兩個方面進行評價：

1)技術層面：

- 設計對照組進行比較。

- 根據常用的模型評估指標進行評價，如命中率、覆蓋率、提升度等

2)業務經驗：業務專家憑借業務經驗對數據挖掘結果進行評估

6.6 模型部署

將數據挖掘成果程序化，將模型寫成存儲過程固化到IT平臺上，并持續觀察模型衰退變化，在發生模型衰退時，引入新的變量進行模型優化。