沈浩老師給數據挖掘初學者的一封信

文 | 沈浩

下面是一位朋友的問題，其實每天都有不少同學和朋友向我提問各種學習數據分析、數據挖掘、統計分析等方面的問題，有時候真的很難仔細回答。其實，每個人都有自己的學習路徑，還有自己的知識結構和期望的職業生涯，要得到一個統一的答案是困難的！

什么是解決問題：就是在明確實際情況和期望情況之間的差異后，為消除這種差異所采取的行動！在解決具體問題時，要先明確分類問題、差異問題，最后我們才能談論共性！

我期望解答這個朋友問題可能具有共性，放在博客中，一些見解僅供大家參考：

沈浩老師：

您好！不知道您還記得我不，我是電信的一名新入職員工，在過年前給您寫過一封E-mail.我期望自己能夠在企業內從事跟數據挖掘的工作，期望通過數據挖掘這個工具來挖掘用戶深層次的需求和研究用戶的使用習慣及消費特點。

我在網上查閱過一些從事數據挖掘的專家的博客，有人提到如果在企業內從事數據挖掘方面的應用工作，需要掌握相關的數理統計知識，懂得使用相關軟件就可以了，請問是這樣的嗎？還需要掌握數據倉庫和程序算法方面的知識嗎？因為我從本科到研究生都是學習管理方向的，數學方面的基礎相對薄弱，因此想請您指教一下。

另外，如果我要入門，從哪個方面入手比較好呢？有什么合適的參考書嗎？請你不吝賜教。

想必您平時的工作很忙，因此對這么唐突的給您寫郵件請教而占用您的時間和精力表示歉意。期待您的回復！祝您工作順利，身體健康！

沈浩的回答：

抱歉，事情太多，如果不追著就忘了！我認為你作為企業員工對數據挖掘感興趣，最主要的就是從應用和解決問題開始，所以我想把數據挖掘這個狹義定義的內容改成你應該對數據分析感興趣，數據挖掘只是數據分析的一個重要工具和解決方法之一！

數量統計知識方面：我認為統計思想是數學在實踐中最重要的體現，但對于實際工作者最重要的是掌握統計思想，其實統計理論非常復雜，但實際應用往往是比較簡單的！比如，很多人都在大學學了假設檢驗，但實際應用中假設就是看P值是否小于0.05，但是H0是什么？拒絕還是接受的是什么現實問題；要理解！

掌握軟件問題：從軟件角度學，是非常好的思路，我基本上就是這樣學的。我常說編軟件的人最懂理論，否則編不出來，編軟件的人最知道應用，否則軟件買不出去；現在軟件越來越友好，把軟件自帶案例做一遍，你會自覺不自覺的掌握軟件解決問題的思路和能解決的問題類型；

數據倉庫問題：OLAP和數據挖掘是數據倉庫建立基礎上的兩個增值應用，從企業整體角度，數據挖掘應該建立在企業數據倉庫完備的基礎上。所以說數據倉庫是針對企業級數據挖掘應用提出的，但我們應該記住，企業從來不是為了數據挖掘建立數據倉庫，而是因為有了數據倉庫后必然會提出數據挖掘的需求！現在隨著數據挖掘軟件的工具智能化，以及數據倉庫和ETL工具的接口友好，對數據庫層面的要求越來越少；

數學不好可能反應了一個人思考問題的方式或深入理解問題的能力，但數學不是工具是腦具，不斷解決問題的過程可以讓我們思考問題更數學化！

沈浩老師建議：

1.不急，一步一步來！先把本職工作中的數據分析問題理解了，干好了！

2.熟練玩好Excel軟件工具，這個可以看《Excel高級應用與數據分析》我寫的書，當然有很多Excel論壇和網站，從我的博客就可以連接到。

3.學習好統計分析方法，我不是單指統計原理，而是統計分析方法，比如回歸分析，因子分析等，不斷進入統計分析解決問題的思考方式；這個可以看看SPSS軟件方面的書和數據案例，通過軟件學習解決數據分析的統計問題，這方面的書很多，當然你也可以關注我的博客，不斷增加統計分析方法解決數據分析問題的思路，自己對照著完成！

4.在上述問題有了比較好的理解后，也就是你應該算是一個數據分析能手的時候，開始進入數據挖掘領域，你會發現用數據挖掘思想解決問題具有智能化、自動化的優勢，接下來，你需要考慮數據建模的過程，通過學習Clementine軟件或SAS的挖掘工具，不斷理解數據挖掘與原來的數據分析工具有什么不同或優勢！

5.當前面都是了解并且能夠得心應手后，你就要有針對性的掌握你工作所在行業的問題，例如：電信行業的解決方案問題：客戶流失、客戶價值、客戶離網、客戶保持、客戶響應、客戶交叉銷售等商業模型，同時與數據分析和數據挖掘統一在一起的解決方案！

6.接下來，你應該掌握數據庫的一些原理和操作，特別是SQL語言的方式

你到了這個階段，就應該有全面解決問題的能力，比如挖掘出來的知識或商業規則如何推送到營銷平臺上等等

7.梳理自己的知識結構，不僅會操作，現在你應該成為專家了，要能夠宣揚你的知識能力和領導力，當然也要表明你在數據挖掘領域的專業特長

8.要經常幫助同事和行業朋友，比如幫助解決數據分析問題，幫助咨詢，甚至給大家講課，這對你的知識梳理和能力的提高非常重要，你的自信心會更強！

9.有興趣，可以建立一個博客或什么，不斷寫點東西，經常思考和總結

10.結交廣泛的朋友！

關于入門的教材：

互聯網，其實不用買什么書網絡基本都有；要有好的搜索能力，當然包括搜各種軟件！

1.SPSS和Clementine軟件的說明和案例，都做一遍；

2.《數據挖掘——客戶關系管理的藝術》不錯，當當網上查一下

3.《調查研究中的統計分析法》——我和柯老師寫的，當當網也有

4.《Excel高級應用與數據分析》——我寫的

5.《數據展現的藝術》——我和博易智訊合作

來自沈浩老師的博客