深入淺出：怎么從0開始學習大數據挖掘分析，才能成為合格的數據挖掘分析師及數據科學家

最近有很多人咨詢，想學習大數據，但不知道怎么入手，從哪里開始學習，需要學習哪些東西？對于一個初學者，學習大數據挖掘分析的思路邏輯是什么？本文就梳理了如何從0開始學習大數據挖掘分析，學習的步驟思路，可以給大家一個學習的建議。

很多人認為數據挖掘需要掌握復雜高深的算法，需要掌握技術開發，才能把數據挖掘分析做好，實際上并非這樣。如果鉆入復雜算法和技術開發，只能讓你走火入魔，越走越費勁，并且效果不大。在公司實際工作中，最好的大數據挖掘工程師一定是最熟悉和理解業務的人。對于大數據挖掘的學習心得，作者認為學習數據挖掘一定要結合實際業務背景、案例背景來學習，這樣才是以解決問題為導向的學習方法。那么，大體上，大數據挖掘分析經典案例有以下幾種：

A、預測產品未來一段時間用戶是否會流失，流失情況怎么樣；

B、公司做了某個促銷活動，預估活動效果怎么樣，用戶接受度如何；

C、評估用戶信用度好壞；

D、對現有客戶市場進行細分，到底哪些客戶才是目標客群；

E、產品上線投放市場后，用戶轉化率如何，到底哪些運營策略最有效；

F、運營做了很多工作，公司資源也投了很多，怎么提升產品投入產出比；

G、一些用戶購買了很多商品后，哪些商品同時被購買的幾率高；

H、預測產品未來一年的銷量及收益。。。。

大數據挖掘要做的就是把上述類似的商業運營問題轉化為數據挖掘問題。

（一）如何將商業運營問題轉化為大數據挖掘問題

那么，問題來了，我們該如何把上述的商業運營問題轉化為數據挖掘問題?可以對數據挖掘問題進行細分，分為四類問題：分類問題、聚類問題、關聯問題、預測問題；

1、分類問題

用戶流失率、促銷活動響應、評估用戶度都屬于數據挖掘的分類問題，我們需要掌握分類的特點，知道什么是有監督學習，掌握常見的分類方法:決策樹、貝葉斯、KNN、支持向量機、神經網絡和邏輯回歸等；

2、聚類問題

細分市場、細分客戶群體都屬于數據挖掘的聚類問題，我們要掌握聚類特點，知道無監督學習，了解常見的聚類算法，例如劃分聚類、層次聚類、密度聚類、網格聚類、基于模型聚類等。

3、關聯問題

交叉銷售問題等屬于關聯問題，關聯分析也叫購物籃分析，我們要掌握常見的關聯分析算法：Aprior算法、Carma算法，序列算法等。

4、預測問題

我們要掌握簡單線性回歸分析、多重線性回歸分析、時間序列等。

(二)用何種工具實操大數據挖掘

能實現數據挖掘的工具和途徑實在太多，SPSS、SAS、Python、R等等都可以，但是我們需要掌握哪個或者說要掌握哪幾個，才算學會了數據挖掘?這需要看你所處的層次和想要進階的路徑是怎樣的。

第一層級：達到理解入門層次，了解統計學和數據庫即可。

第二層級：達到初級職場應用層次，數據庫+統計學+SPSS(也可以是SPSS代替軟件)

第三層級：達到中級職場應用層次，SAS或R

第四層級：達到數據挖掘師層次，SAS或R+Python(或其他編程語言)

(三)如何利用Python學習大數據挖掘

只要能解決實際問題，用什么工具來學習數據挖掘都是無所謂，這里首推Python。那該如何利用Python來學習數據挖掘?需要掌握Python中的哪些知識?

1、Pandas庫的操作

Panda是數據分析特別重要的一個庫，我們要掌握以下三點：

1)pandas 分組計算;

2)pandas 索引與多重索引;

索引比較難，但是卻是非常重要的

3)pandas 多表操作與數據透視表

2、numpy數值計算

numpy數據計算主要應用是在數據挖掘，對于以后的機器學習，深度學習，這也是一個必須掌握的庫，我們要掌握以下內容：

1)Numpy array理解；

2)數組索引操作；

3)數組計算；

4)Broadcasting(線性代數里面的知識)

3、數據可視化-matplotlib與seaborn

1)Matplotib語法

python最基本的可視化工具就是matplotlib。咋一看Matplotlib與matlib有點像，要搞清楚二者的關系是什么，這樣學習起來才會比較輕松。

2)seaborn的使用

seaborn是一個非常漂亮的可視化工具。

3)pandas繪圖功能

前面說過pandas是做數據分析的，但它也提供了一些繪圖的API。

4、數據挖掘入門

這部分是最難也是最有意思的一部分，要掌握以下幾個部分：

1)機器學習的定義

在這里跟數據挖掘先不做區別

2)代價函數的定義

3)Train/Test/Validate

4) Overfitting的定義與避免方法

5、數據挖掘算法

數據挖掘發展到現在，算法已經非常多，下面只需掌握最簡單的，最核心的，最常用的算法：

1)最小二乘算法；

2)梯度下降；

3)向量化；

4)極大似然估計；

5)Logistic Regression；

6) Decision Tree；

7) RandomForesr；

8) XGBoost；

6、數據挖掘實戰

通過機器學習里面最著名的庫scikit-learn來進行模型的理解。

以上，就是為大家厘清的大數據挖掘學習思路邏輯?？墒?，這還僅僅是開始，在通往數據挖掘師與數據科學家路上，還要學習文本處理與自然語言知識、Linux與Spark的知識、深度學習知識等等，我們要保持持續的興趣來學習數據挖掘。