數據挖掘過程體會

Step1.

就是商業問題的理解了，那么如何更好的理解“老大”提出的商業問題困惑呢？我覺得思維導圖倒是個不錯的選擇，當然自己要想更好的理解“老大”的意思還需要進一步的溝通，商業問題的理解關系到這個挖掘項目的價值，甚至成敗，所以在這塊大家要顯得“外向”一些，多交流、多溝通、多了解這個商業問題背后的東東；

step2.

接下來就是需要提取的字段，也就是數據挖掘的寬表，這點就要和企業的DBA人員多多交流，看數據庫中各個維度的表格都有什么字段，主要關聯的主鍵有那些，那么如何選取字段呢？這就需要自己把自己與“老大”共同討論的思維導圖拿出來看看，這樣就有提取那些字段的感覺了，這部分大多數的提取是自己對商業問題的感覺或者一些前輩的經驗；

Step3

數據的ETL，這部分一般的時間占數據挖掘項目的70%左右，為什么數據的ETL如此重要呢？萬丈高樓平地起，如果連地基都是“豆腐渣工程”的話，那么再華麗的樓房也沒人愿意掏腰包；嘿嘿，開個玩笑；數據的ETL主要是一些異常值、空值（miss值）、錯誤數值的處理，這部分一般需要根據數據自身的分布、簡單的統計知識、該字段體現的業務特點、自己的經驗進行的，也就是這一部分的處理主要是統計知識+項目經驗+業務特點；

Step4

建立模型所需要的變量如何選？當然目標變量（Y）一般都是事前設定好的，那么X如何找呢？大多數都是應用相關分析、特征選擇、描述性的統計圖表（分箱圖、散點圖等），這里我只想說一句算法是死的，有時候我們根據算法得出來的X對Y沒有影響，但在實際的業務中影響卻很大，所以大家不要過于依賴算法、工具，我曾經因為這點，被人批了，555~~~~~

  Step5

建立數據挖掘模型，這塊是許多同行相當癡迷的地方，我也不例外，記得大學畢業去北京的時候，就在咨詢公司研究算法什么的，后來經過leader的幾次談話，自己才慢慢走出了誤區；一句話，我們追求的是模型帶來的效益，所以沒那么多時間去玩模型、搞算法；但是作為數據挖掘從業者，最基本的應該是了解各種算法的原理，還有一些數據挖掘模型參數的意義，比如在spss clementine中就有自定義和專家兩個供大家選擇，所以掌握一些參數的意義也是有必要的，大家可以上網下一些人大數據挖掘的視頻教程，里面講的比較詳細；

Step6

模型評估，大部分都是借助數據挖掘自帶的評估模型來做，什么準確度、收益率等，理論上很完美，實際中就一定有療效嗎？非也！有時候模型跑出來的信息很詭異的，建模人員都無法知道這個結果如何去解讀，這時我倒是覺得可以從模型中選取一部分人群來做一下簡單的調研，或許能獲得更多數據背后的東西，也能為自己的片子多幾分數據解讀的色彩，何樂而不為呢？

Step7

模型可視化展示，可視化一直是一些數據服務公司所追求的東東，也是我們從業人員一種傳達信息的方式，對于一個專題的數據挖掘模型，我相信大家都能通過一些圖表、表格或者更炫的PPT搞定，打個岔，我常常遇到這樣的問題，在對多維度做交叉分析時，因為涉及許多數據維度的鉆取而很難展現給決策者，這時可以用水晶易表來做動態的展示，但是遇到更復雜的邏輯呢？大家不難發現現在大部分的數據分析系統或者叫運營體系的分析維度都是作為一個content展現給使用者，從數據從業者的角度來看，這只是從不同維度對數據進行了切割而已，談不上真正的數據可視化，路漫漫兮修遠兮！業務、維度、用戶交互三者融合才是王道；