大數據的核心：數據挖掘

大數據的核心：數據挖掘。從頭至尾我們都脫離不了數據挖掘。其實從大學到現在一直都接觸數據挖掘，但是我們不關心是什么是數據挖掘，我們關心的是我們如何通過數據挖掘過程中找到我們需要的東西，而我們更關心的是這個過程是什么？如何開始？

總結的過程也是一個學習的過程，通過有章節的整理對目前正在的學習的內容做規整。在這個過程中我們會從具體的項目實施中去談數據挖掘，中間會貫穿很多的概念，算法，業務轉換，過程，建模等等。

我們列一下要談論的話題：

1、什么是數據挖掘及為什么要進行數據挖掘？

2、數據挖掘在營銷和CRM中的應用？

3、數據挖掘的過程

4、你應理解的統計學

5、數據描述與預測：剖析與預測建模

6、經典的數據挖掘技術

7、各類算法

8、數據倉庫、OLAP、分析沙箱和數據挖掘

9、具體的案例分析

什么是數據挖掘？

是知識發現、商業智能、預測分析還是預測建模。其實都可以歸為一類：數據挖掘是一項探測大量數據以發現有意義的模式（pattern）和規則（rule）的業務流程。

這里談到了發現模式與規則，其實就是一項業務流程，為業務服務。而我們要做就是讓業務做起來顯得更簡單，或直接幫助客戶如何提升業務。在大量的數據中找到有意義的模式和規則。在大量數據面前，數據的獲得不再是一個障礙，而是一個優勢。在現在很多的技術在大數據集上比在小數據集上的表現得更好——你可以用數據產生智慧，也可以用計算機來完成其最擅長的工作：提出問題并解決問題。模式和規則的定義：就是發現對業務有益的模式或規則。發現模式就意味著把保留活動的目標定位為最有可能流失的客戶。這就意味著優化客戶獲取資源，既考慮客戶數量上的短期效益，同時也考慮客戶價值的中期和長期收益。

而在上面的過程，最重要的一點就是：如何通過數據挖掘技術來維護與客戶之間的關系，這就是客戶關系管理，CRM。

專注于數據挖掘在營銷和客戶關系管理方面的應用——例如，為交叉銷售和向上銷售改進推薦，預測未來的用戶級別，建?？蛻羯鎯r值，根據用戶行為對客戶進行劃分，為訪問網站的客戶選擇最佳登錄頁面，確定適合列入營銷活動的候選者，以及預測哪些客戶處于停止使用軟件包、服務或藥物治療的風險中。

兩種關鍵技術：生存分析、統計算法。在加上文本挖掘和主成分分析。

經營有方的小店自然地形成與客戶之間的學習關系。隨著時間的推移，他們對客戶的了解也會越來越多，從而可以利用這些知識為他們提供更好的服務。結果是：忠實的顧客和盈利的商店。

但是擁有數十萬或數百萬客戶的大公司，則不能奢望與每個客戶形成密切的私人關系。面臨這樣困境，他們必須要面對的是，學會充分利用所擁有的大量信息——幾乎是每次與客戶交互產生的數據。這就是如何將客戶數據轉換成客戶知識的分析技術。

數據挖掘是一項與業務流程交互的業務流程。數據挖掘以數據作為開始，通過分析來啟動或激勵行為，這些行為反過來又將創建更多需要數據挖掘的數據。

因此，對于那些充分利用數據來改善業務的公司來說，不應僅僅把數據挖掘看作是細枝末節。

相反，在業務策略上必須包含：1、數據收集。2、為長期利益分析數據。3、針對分析結果做出分析。

CRM（客戶關系管理系統）。在各行各業中，高瞻遠矚的公司的目標都是理解每個客戶，并通過利用這種理解，使得客戶與他們做生意更加容易。同樣要學習分析每個客戶的價值，清楚哪些客戶值得投資和努力來保留，哪些準許流失。把一個產品為中心的企業轉變成以客戶為中心的企業的代價超過了數據挖掘。假設數據挖掘的結果是像一個用戶推薦一個小首飾而不是一個小發明，但是如果經理的獎金取決于小發明的季度銷售量而不是小首飾的銷售量（即便后者更為有利可圖或者收獲長期盈利更多的客戶），那么數據挖掘的結果就會被忽視，這就導致挖掘結果不能產生決策。