對業務和用戶的理解,是數據挖掘“皇冠上的明珠”

這篇文章不是數據挖掘教程，而是讓用研、產品、運營及其它相關崗位的同學了解：

數據挖掘的特點；

數據挖掘可以做哪些事情、有什么應用價值；

要發揮數據的價值，你們應該怎么與數據挖掘崗協作，你們不可替代的價值在哪里。

文章有點長，良心出品，實在沒時間看完全文的同學可以有選擇地看

1.數據挖掘是什么

數據挖掘（Data Mining），核心是從數據集合中自動抽取隱藏的有用信息（規則、概念、規律、模式等），并運用到實際業務中。自動抽取的過程可以類比成定性研究／數據分析中的洞察（insight）。兩者的區別在于數據挖掘更依賴機器和算法，后者的洞察更依賴人腦。用更貼近生活的例子來說，數據挖掘好比醫生診斷病人，醫生收集病人的各種癥狀之后，通過一定分析，得出疾病診斷。但是，醫生能根據醫學知識和經驗反推疾病原因，數據挖掘卻很難反推原因，即解決不了“為什么”的問題。數據挖掘涉及統計學、人工智能、機器學習、高性能計算、數據可視化等等，涉及的范疇很廣，其中還包括了一部分數據基礎設施建設工作，比如數據的整理、存儲。這些不是本文的重點，有個印象即可。作為茶余飯后跟妹子們聊天的素材也是極好的。

2.數據挖掘的核心

主流觀點認為，數據挖掘與統計分析密不可分，是統計技術的延伸和發展；實踐中兩者經常結合使用，一般也不會刻意區分統計分析與數據挖掘。想了解“延伸和發展”什么意思？數據挖掘更注重應用，用效果說話，變量/特征間的關系不是重點，可以是“黑箱”（注：統計學習慣叫變量，數據挖掘習慣叫特征，后面均用特征來指代）。舉個栗子，要讓更多的用戶變成付費用戶，傳統統計分析側重通過數據來了解哪些因素促成了付費，怎么促進付費；數據挖掘可以預測哪些用戶將會是付費用戶，然后能不能做點什么，讓他們在付費的路上走得快一點、遠一點、強一點。再舉個栗子，傳統統計分析面對圖像識別效果很差，數據挖掘中的一些新技術能將準確率做到接近人眼的水平。無論是數據挖掘還是傳統的統計分析，在“目標響應概率”上達成了一致。從宏觀層面來說，目標響應概率是特定用戶群體，整體上的概率或可能性，如35%的用戶購買過XXX、喜歡某某明星的用戶占57%。從微觀層面來說，目標響應概率是具體到單個用戶的概率，如通過邏輯回歸算法，搭建一個預測響應模型，預測每個用戶在某時段內的流失概率。數據挖掘的一般做法是把樣本劃分為訓練集（Training Set）、驗證集（Validation Set）、測試集（Testing Set)，在具體實踐中，有時候僅劃分為訓練集和驗證集；用另外時間窗口的新數據來進行測試。通常所說的建模，是用一部分數據（通常是60%-70%）來訓練模型，再用另一部分數據驗證效果。

3.數據挖掘好不好

（一）傳統的統計分析，基礎是概率論，需要對數據分布做假設，數據分布符合要求才能使用某種統計方法

對變量間的關系也要做假設，確定用某概率函數來描述變量間的關系，還要檢驗參數的顯著性。數據挖掘中算法會自動尋找變量間的關系，對于海量雜亂的數據，數據挖掘有優勢。簡而言之，統計分析對數據分布有要求，數據挖掘對數據質量非常寬容?，F在流行“大數據”，大數據的特點是數據海量但非結構化（大量的雜亂的稀疏數據，一眼看過去密密麻麻都是0），自然數據挖掘有優勢。用數據挖掘技術對稀疏數據進行初步處理后，還經常會用統計分析來做深度處理，所以說兩者密不可分。

（二）數據挖掘在預測時重點關注預測結果，變量間的關系可以是“黑箱”

這雖然能解決問題，但不利于解釋業務，有些情況下必須選用“退而求其次”的方法，把黑箱里面的情況搞清楚。比如為防范信用卡盜刷而建的風控模型，會用決策樹做，便于向用戶/騙子解釋因為什么情況被攔截。大家不要低估騙子的心理素質，如果說不出個所以然，嘿嘿，你跟騙子耗不起這個糾纏的時間。所以，實際業務中，沒有最牛的算法，只有最適合的算法。

（三）傳統做統計分析時，分析人員會先做假設和判斷，再通過數據驗證假設是否成立

人腦在建立假設時起了不可替代的作用。而算法自動尋找數據規律時，可能會過擬合，造成模型不穩定，后續的應用效果比較差。下面用三張圖來說明過擬合（圖片來自網絡學習資料）：

圖1，藍色空心小點代表真實的數據點，綠線代表我們想去擬合的真實曲線，當我們用一維曲線（直線）去擬合時，得到紅線，從圖上就能直觀看出擬合效果不好。

圖2，用三維曲線去擬合時，得到的效果不錯，紅線穿過了大多數藍點。

圖3，用九維曲線去擬合時，哇塞，完美！紅線穿過了每一個藍點。但是這樣的模型已經嚴重偏離了綠線, 對新數據的預測效果會很差。此時紅線就是過擬合了。所以，不能光追求數據挖掘時的一些客觀指標，能解決實際問題的模型才是好模型。

4.數據挖掘怎么提高效能

效能，更高效地解決問題，目前提高數據挖掘效能有兩條不同的路。

（一）從算法里挖潛能

學術界尋找更強的算法，工業界玩弱算法疊加。傳統的算法改進路線是人工生成特征，但效果有限（會伴生“高維”、“稀疏”等問題，計算困難），特別是圖像識別、自然語言處理等問題，人工來做特征工程非常困難；學術界發展出更強的新算法，解決特定類別問題。工業界多用取巧的方式，不斷嘗試算法疊加，發現效果更好的解決方法。舉個栗子：GBDT（由多棵決策樹組成的迭代決策樹）+ X（LR、FM、……），疊加后投票（賦予權重）。同時，工業界還要考慮計算資源問題，怎樣的算法“算得快”也很重要。

（二）通過特征選擇提高效能

特征太少威脅模型的穩定性，特征太多也影響模型穩定性且增加復雜度，用白話來說就是特征數量沒控制好，會造成建模成本高、模型應用效果差?？刂?a href='/map/tezheng/' style='color:#000;font-size:inherit;'>特征數量涉及到特征的選擇，特征選擇源于洞察，依賴人腦，尤其在無監督學習的情況下，更需要人腦對業務的理解和判斷作為基礎。（注，無監督學習的一個例子是用戶聚類，得到的用戶類別沒有客觀指標可驗證。）

5.數據挖掘常用業務場景

（一）目標用戶的預測（響應、分類）

如預測用戶在某個時間段內流失概率的流失預警模型，用第N月的行為數據，預測用戶在第N+1月和第N+2月的流失情況。通過預測得到即將流失的用戶名單后，針對其中的高價值用戶，運營有時間窗口來采取措施進行挽留。同理還可以建付費預測模型、續費預測模型、運營活動響應模型。這些模型的本質是預測單個用戶的響應概率（Probability）。

（二）用戶分層精度

介于上述針對單個用戶的精細化操作與針對全體用戶的粗放操作之間，是一種折衷過渡模型。與預測單個用戶的情況相比，分層模型不需要大量資源投入，但它比粗放操作精細，提高了業務效率。用戶運營分層模型、用戶分層進化圖、向不同群體提供不同說辭和服務，均是業務應用場景。用戶聚類、群體用戶畫像也算“用戶分層”，這種分層，僅僅是不同類別的區分，類之間沒有遞進關系。

（三）用戶路徑分析能給產品經理、用戶體驗人員、運營這三大類崗位的同學帶來價值

如通過分析用戶訪問路徑來優化網頁設計、進行改版；提煉出特定用戶群體的主流路徑；預測用戶可能訪問的下一個頁面等。漏斗模型是很常見的“特殊”用戶路徑分析模型，依賴分析思路和業務驅動。如支付轉化率分析，每個節點均對應不同的業務涵義。

（四）交叉銷售與個性化推薦

用戶來了之后，我們總是希望能挖掘用戶潛在需求，一次性將更多的商品或服務賣給他/她，尤其是依賴流量的產品，流量獲取成本高的話，用戶挖掘非常重要。通過用戶行為數據挖掘，找出有明顯關聯的商品組合，“打包”銷售，或進行個性化推薦，均能促進業務目標。目前，Amazon（亞馬遜）35%的購買來自推薦，LinkedIn（領英）50%的關聯是通過推薦匹配，時尚網站“Stitch Fix 100%的購買都是由推薦產生”。數據挖潛對產品會越來越重要。當然，數據不是萬能的，個性化推薦的前、后環節均基于對業務和用戶的理解。

（五）信息質量優化

信息質量模型的特點是：最初評價目標對象“質量好壞”時，依賴專家和用戶調研的結果綜合進行評定。之后將評定緯度和評定結果交給機器，最終形成可用的模型。如商品介紹頁質量優化、網絡店鋪質量優化、論壇發帖質量優化等。

（六）文本挖掘想象一下詞云

這就是文本挖掘的一種形式。另外文本挖掘還能分析情感、判斷用戶特征、做網絡輿情監控、做傳播分析等。當你需要一些信息來輔助決策的時候，想想能否從文本里面挖掘出有價值的內容。

6.重點來了

前面說了那么多，最終回到本文的核心觀點，因受現實條件制約（數據質量、資源投入），數據挖掘非常依賴對業務的理解和把控。對業務和用戶的理解用于指導建模，對業務的把控則是產品想要打造的品牌/體驗，是產品想把用戶過去的方向，也是商業邏輯問題。

理論上通過A/B測試可以完全由數據驅動來追逐指標，這是“短期利益”，但現實中我們還關心產品的“長期利益”，在短期和長期之間尋找一個平衡點。對業務/用戶的理解和把握，來自產品經理、來自用戶研究、來自運營、也可能來自其它崗位。所以，這些崗位的同學必須知道怎么跟數據挖掘崗協作，怎么推動模型落地并有良好的應用。部分用研同學因為自帶統計分析技能，已能搭建比較理想的模型；產品和運營（也包括用研），應該做好數據挖掘前后兩端的工作，這事跟你們不是沒有關系。數據輔助決策這件事會越來越滲透到產品開發和商業流程中；開發、產品、市場、商務等崗位會越來越有“數據感”，能進行自助分析。最終，數據是為商業邏輯服務的。