大白話講解數據挖掘【案例】潛客模型的數據框架

本篇文章作為回答很多朋友問我的一個問題：到底數據挖掘是什么？有什么作用？

我把數據挖掘比喻成炒菜燒飯。下面用了一個潛客模型的框架作為案例進行講解。

（潛客模型數據挖掘框架）

因為我在互聯網公司，所以流量是整個流程圖的開始。

第一步：數據準備（去菜場買食材，到家清洗食材）

第二步：做模型（將食材加工成各類食物，咸味、甜味、淡味）

第三步：數據CRM系統營銷管理（把不同的食物分給不同的人吃）

第四步：做評估（反饋不同人群對菜的評價，反饋給廚師，廚師根據反饋再做改進）

可以看到數據挖掘非常類似廚師的工作。我們來細細得看一下每一步大概要考慮什么問題？如何去解決吧？

第一步：數據準備

問題：

1、怎么收集用戶信息？ （去哪里買食材）

收集用戶信息可以是非常多的形式，但我們不可能無限制得到用戶信息，那是非常浪費資源并且也會讓用戶認為我們不友好。（就比如你在上海不會飛去北京買烤鴨吧？）所以使用哪些用戶信息這個問題就非常關鍵。

2、應該使用哪些用戶信息？ （買哪些食材）

通常我們會把所有的一些字段都羅列出來（附近菜場能買到的食材全部記錄下來），然后用于模型軟件和建模專家去評估哪些字段是有用的（去看哪些能做出菜品的），哪些字段可能對于模型沒有任何作用。目前較為流行的就是用戶的交互信息，因為這些信息最不易作假，來源也最方便。

第二步：做模型

問題：如何建模？（如何燒菜）

建模其實就是將你手中的信息量折合成你需要的信息。（把幾個食材加工后變成紅燒肉）。比如要預測這個用戶是否要流失，你可以用最近用戶的交易習慣是否有巨大的改變，這時我們做模型可能只需要幾個關鍵變量（食材）。從原來的幾百個關鍵變量到最后的幾個關鍵變量，然后把他們組合起來這一個過程就是建模的過程。（選食材到做出美味的美食的過程）

做模型其實是一件非常耗費時間的事情，因為在沒有專業化軟件的時候，大家做模型就是靠業務經驗及一遍遍的數據組合去完成的。而現在專業化的工具如R,SAS,SPSS等其實是提高了建模師的工作效率，讓他們繁瑣且重復化的工作由計算機完成。當然在你使用這些軟件的同時，你必須了解每一種數學模型背后的原理，這樣你才明白什么時候用什么模型。（數學模型就好像油鹽醬醋，要知道什么時候用什么，最終才能做出美味）

做完模型后，有時你需要把你的模型解釋給業務部門聽，然后告訴他們如何使用你的模型，因為幫助解決問題才是模型的最終目標。

第三步：數據CRM系統營銷管理

當我們把每個顧客的菜做好了，我們需要對不同的顧客滿足不同的需求，這時就用到了CRM系統，如下圖所示，可以根據模型進行營銷，檢測最后是否解決了業務問題。

CRM具有以下優勢：

1、在營銷之前你就可以預算營銷成本。

2、針對不同用戶使用不同的營銷策略（常說的精確化營銷）

3、易于檢測營銷和模型結果

第四步：結果反饋及模型優化

重要結果反饋KPI:（只例舉部分）

正向反饋：1、用戶再次訪問客戶端或網站的概率

2、用戶上線下單購買產品概率

反向反饋：1、退訂率（E-mail  APP）

2、投訴率

3、未響應度（未采取任何動作）

根據不同類型的人群進行的反饋結果再次檢驗模型(顧客的口味評價)，查看模型的準確度是否在可控范圍內。很多模型隨著時間推移都會變得不準確，需要調整一定的閥值。比如銀行的風控模型，通常都會半年到1年調整一次（廚師根據顧客喜好調整口味）。其中的原因可能是經濟條件增長原因，也可以能是銀行政策原因導致。

總結項目關鍵點：

1、        收集用戶的信息質量（業務及BI部門合作）

2、        算法優化處理（建模工程師）

3、        系統實施跟進（BI及IT開發部門合作）

這些因素決定模型應用的成敗。

PS：數據挖掘有很多有意思的應用，典型的亞馬遜推薦算法；啤酒與尿布；預測；語音識別的原理中也有概率數據挖掘的影子（推薦閱讀《數學之美》）。