作者 | 小天

數據挖掘，英文名叫Data mining，一般是指從大型數據庫中將隱藏的預測信息抽取出來的過程，而更為精確的解釋則是“從數據中挖掘知識”。

這個概念乍眼一看有點懵，小天舉個栗子解釋，相信就比較容易理解：

假如某東需要預測用戶在未來5天內的購買需求，以達到精準營銷的目的，那么此時完全可以借助數據挖掘實現。

通過數據挖掘技術和機器學習算法，在以某東真實的用戶、商品和行為數據（脫敏后）為基礎的情況下，構建一個用戶購買商品的預測模型，輸出高潛用戶和目標商品的匹配結果，從而提供高質量的目標群體，實現精準營銷。

也就是說，我們能夠從海量的數據中挖掘出有用知識服務于我們的工作。

而就目前而言，數據挖掘大致上是可以分為四個層次：純粹數據加工、傻瓜式挖掘、較為自由的挖掘以及算法拆解和開發。

（一）純粹數據加工

這一層次主要側重于變量的加工和預處理，主要的加工工具就是大家比較熟悉的SQL和SAS base。

從源系統或數據倉庫，對相關數據進行提取、加工、衍生處理，生成各種業務表。緊接著，以客戶號為主鍵，將這些業務表整合匯總出一張大寬表，而這張寬表就是所謂的“客戶畫像”。

（二）傻瓜式挖掘

傻瓜式操作的優點就是讓數據挖掘變得入手快且簡單，但是，眾所周知傻瓜式操作必然存在缺陷，比如挖掘的過程會很單調無趣，沒辦法批量運算模型等等。而較為典型的工具有SAS EM和clementine。

這兩種工具已經嵌入了很多較為傳統成熟的算法、模塊和節點（如大家很熟悉的神經網絡以及前幾天小天提到的決策樹等）。只需鼠標的托拉拽，基本上就可以滿足你挖掘數據的需求。

因此，在熟練操作這些工具的情況下，若想進一步提升建議需要拋棄它們。

（三）較為自由的挖掘

在這個層次，典型的工具就是R和Python這兩個開源工具，前者是統計學家開發的，而后者則是計算機學家開發的。

它們不但有較多前沿且成熟的算法包調用，還能對既有的算法包進行修改調整，以適應分析需求，十分的靈活。此外，Python在文本、社會網絡方面的處理，功能比較強大。

（四）算法拆解和自行開發

到了這一層次，說明你們已經擁有了重新編寫算法代碼的能力，比如用自己的代碼實現邏輯回歸運算過程，甚至根據業務需求和數據特點，更改其中一些假定和條件，以提高模型運算的擬合效果。

一般而言，大多數人會利用python、c、c++進行算法拆解和開發。

可以看到，四個層次中出現最多的就是python，因此可以這么說掌握了python，掌握數據挖掘也就不在話下了！

而根據當前互聯網的招聘和對技能的需求來說，當你已經順利度過前三個層次的時候，建模分析師的職位是妥妥的，如果再更進一步到達了第四層次，相信你就是當之無愧的算法工程師了！

那么，怎么才能更好地掌握數據挖掘，最高效的學習路徑應該是什么樣的呢？

此時，我們最先要做的就是了解數據挖掘的大致流程。

（一）數據讀取

既然是叫數據挖掘，那么可以看出數據是重中之重，因此第一步就應該把數據讀取出來。

（二）特征理解分析

數據讀出來了，但并不代表這些數據都是有用的，因此需要根據數據的特征進行理解和分析，考慮變量與結果的關系，最后繪圖得出結論，輔助判斷，進而選出有價值的數據。

（三）數據清洗與預處理

選出了有價值的數據就可以馬上建立模型了吧？別想太多，還得先清洗和預處理數據。雖然這一步看似很簡單，但是實際上它是整個數據挖掘過程中最耗時的，大概占了70-80%的時間。

如何對數據進行恰當的處理使得最終能夠獲取最合適的數據是這一步需要解決的。請記住，數據決定了模型的上限。

（四）建立模型

完成了最重要的第三步之后，就可以開始建模了，通過多種算法的對比以及參考他人的策略進行建模與優化，最終得出合適的模型。