數據挖掘系列篇之DM解決幾類問題

宋代禪宗大師青原行思提出參禪的三重境界：“參禪之初，看山是山，看水是水；禪有悟時，看山不是山，看水不是水；禪中徹悟，看山仍然山，看水仍然是水?！?/span>

數據挖掘也是這樣，初學數據挖掘的時候比較迷茫，看到山還是山，看到數據也只是表現的數據，流離于表面形態。行進之時，初悟一二，在了解了數據挖掘的基本技能和工具，在實踐中做過幾個案例，解決了不少問題之后能夠對數據挖掘有一些自己的經驗理解，能夠看穿數據背后表露的一些現象和本質。而在歷經無數case之后，遇到各種荊棘坎坷，又明白了數據的真諦，又要跳出數據的角度，面前的這座山還是原來的山，只是變得厚重了而已。

北美發達的商業交易市場，已不再是傳統股票經紀人每天看財報，分析股指，買賣兩三支股票就能高枕無憂的年頭了。T+0的交易模式允許交易方在同一天買入和賣出，于是就產生了自動交易機，每秒鐘執行上百萬次的買賣交易，而這些交易的決策，完全是由機器智能實現的。因為交易筆數的增多，每筆交易的利潤并不需要很大，整體也能產生巨大的盈利。甚至有公司利用紐約證交所到太平洋對岸的結算中心2ms的信息傳輸延遲，賺取了大量收入，這些高頻交易，跟傳統的金融分析已經間隔漸遠，大數據技術成為重中之重。當美國一大批商學院在向信息界尋求力量，而中國的商學院尚處于學習美國以往模式，學生只懂現象不懂技術，此番培養的金融人才，必將很難適應市場，這是熊老師提出對國內“金融熱”的大大擔憂。而計算機行業，若有數據挖掘背景，將會有巨大的發展空間，不僅僅在金融界。

之前數云的段勇通過一本《深入淺出談數據挖掘》講述了數據挖掘主要解決分類、聚類、關聯、預測這四類問題，介紹的角度也更多的是結合電信方面的案例。而現在隨著電商、互聯網金融的發展，這類問題的應用豐富了很多，但從本質角度來說還是分類、聚類、關聯、預測等問題，其中分類問題應用的更多，特別是0/1問題。

今天計劃的是通過數據挖掘解決的幾類問題，重點介紹下電商和互聯網金融的常見應用，而像關聯、分類、聚類、預測這些基本的概念稍微一帶而過，如果有什么不清楚的，可以私下再探討具體的概念、定義、區別，以及圍繞關聯、聚類、分類、預測使用的哪些算法會重點介紹下，計劃的是后面會通過python、r、sas、MATLAB再介紹下具體怎么用的。

1.分類VS預測

從人出生開始就遇到分類問題的學習，比如常問的電影里的那人是好人還是壞人，你是男性還是女性，我體重65kg是輕還是重，我的成績是優/良/中/差，這些都屬于分類的問題。結合我們具體的數據挖掘應用場景，常遇到：電商中你會不會買這個商品，你有沒有看我這條廣告，你算不算我的價值客戶；互聯網金融中這支股票算好還是壞，風險評估是高還是低，適合長期持有還是短期操作等。

還有一點，就是它和預測問題的區別。預測問題常見解決的是連續值預測，比如預測你25歲結婚，而不是25歲會不會結婚。預測你月底30號來充值話費，而非你月底會不會來充值話費。本身分類也是預測的一部分，算法層面應用會有些區別。

常見的分類主要是用LR、RF、GBDT、bayes等，預測方面回歸分析、最小二乘法、時間序列等。

分類常見的為0/1問題的解決，所以LR、bayes這方面有一定的優勢，會計算出分類結果的probability，具體實際在推哪些人群的時候可以自定義相應的probability和conclusion。

引用一段段勇老師分享的，可能很多人已經在關心數據挖掘方法是怎么預測P（X=1）這個問題的了，其實并不難。解決這類問題的一個大前提就是通過歷史數據的收集，已經明確知道了某些用戶的分類結果，如已經收集到了10000個用戶的分類結果，其中7000個是屬于“1”這類；3000個屬于“0”這類。伴隨著收集到分類結果的同時，還收集了這10000個用戶的若干特征（指標、變量）。這樣的數據集一般在數據挖掘中被稱為訓練集，顧名思義，分類預測的規則就是通過這個數據集訓練出來的。訓練的大概思路是這樣的：對所有已經收集到的特征/變量分別進行分析，尋找與目標0/1變量相關的特征/變量，然后歸納出P（X=1）與篩選出來的相關特征/變量之間的關系（不同方法歸納出來的關系的表達方式是各不相同的，如回歸的方法是通過函數關系式，決策樹方法是通過規則集）。

看到上面這個解釋，相信大家應該知道分類問題的基本情況，在分類問題算法上，重點會遇到兩個注意點：feature selection & instance selection。這個會直接影響你在做分類算法上的max drawdown和accuracy ratio。而之前也有不少同學問道說怎么去選擇feature和instance，其實這個取決于兩點，1.你有哪些數據；2.經驗判斷。

舉個例子，case為判斷這個用戶會不會使用交罰業務？

step1：find out接觸交罰業務的歷史用戶，其中1定義為使用過，0定義為未使用；

step2：feature selection，選擇和交罰相關的特征，比如你有沒有車、經常自駕游、短期中期長期去過多少地方、有沒有經常加油、平時駕駛速度等等。

step3：train model，evaluate the model。

step4：實測。

具體步驟大家可以拿python調下LR包應用下。

2.聚類

聚類主要解決的是在“物以類聚、人以群分”，比如以收入分群，高富帥VS矮丑窮；比如按職場分群，職場精英VS職場小白等等。

聚類的方法層出不窮，基于用戶間彼此距離的長短來對用戶進行聚類劃分的方法依然是當前最流行的方法。大致的思路是這樣的：首先確定選擇哪些指標對用戶進行聚類；然后在選擇的指標上計算用戶彼此間的距離，距離的計算公式很多，最常用的就是直線距離（把選擇的指標當作維度、用戶在每個指標下都有相應的取值，可以看作多維空間中的一個點，用戶彼此間的距離就可理解為兩者之間的直線距離。）；最后聚類方法把彼此距離比較短的用戶聚為一類，類與類之間的距離相對比較長。

常用的算法k-means、分層、FCM等。

3.關聯

關聯主要是在做用戶場景推薦更多，結合他買過什么產品給他推薦相關聯的產品。

涉及到的指標有三個：支持度support、置信度confidence、提升度lift。

假設有10000個人購買了產品，其中購買A產品的人是1000個，購買B產品的人是2000個，AB同時購買的人是800個。支持度指的是關聯的產品（假定A產品和B產品關聯）同時購買的人數占總人數的比例，即800/10000=8%，有8%的用戶同時購買了A和B兩個產品；置信度指的是在購買了一個產品之后購買另外一個產品的可能性，例如購買了A產品之后購買B產品的可信度=800/1000=80%，即80%的用戶在購買了A產品之后會購買B產品；提升度就是在購買A產品這個條件下購買B產品的可能性與沒有這個條件下購買B產品的可能性之比，沒有任何條件下購買B產品可能性=2000/10000=20%，那么提升度=80%/20%=4。

常用到得算法apriori、FP-growth等。