關于數據挖掘和數據分析

1、很多關于數據挖掘的帖子和文章都在強調工具、算法和架構等，但其實這些都不是數據挖掘的核心，數據挖掘的最重要的環節如下：

數據來源：通過無論是公開的數據還是合作方式、第三方的方式獲得數據；

獲取標簽：對標的物無論是用戶、商品、文章分析，以獲取足夠定義這些標的物的標簽，并對標簽進行指標化和定義權重，通過這些標簽對；

定義特征：通過標的物的個體畫像以及標的物間的關系定義個體和整體的特征；

評估模型：通過定義的特征定義并評估一系列數據模型；

應用模型：模型數據可視化、基于有效模型數據價值應用。

2、為什么把數據挖掘和數據分析放在一起說，是因為數據挖掘本身是一個數據應用化的過程，而應用化的過程某種意義上就是一個數據分析的過程，而這個數據分析可以是人為定義的、AI人工智能輔助的等等。

所以，我們可以暫且這樣定數據挖掘和數據分析的關系：通過不斷優化的數據分析方法，并利用數據挖掘才能夠得出數據應用價值的最大化的結果。

數據挖掘是數據價值結果導向的過程集合，而數據應用價值到底有多大？者就是通過數據分析來評估的，其來自于數據分析的過程以及得出的結論。

3、數據挖掘并不局限。就狹義而言，它就是一個在海量數據中挖掘數據價值的過程；而就廣義而言，只要是有數據來源的，并能夠通過數據分析方法論得到一數據價值結果為導向的過程，都可以稱作數據挖掘。

4、產品運營經常會涉及到數據分析，從某種意義上而言，也是一個以數據價值為結果導向的過程：

數據來源：產品運營過程中的產生和收集的一系列數據，如圖：

獲取標簽：通過基本信息和一系列行為數據獲取分析得到關鍵標簽，并定義標簽的權重和指標，以對基本用戶、商品、文章等等標的物進行畫像；

定義特征：通過標的物個體的統計數據和畫像分析個體間關系的特征和整體性特征，比如電商類用戶就可以根據性別和消費能力、消費周期等標簽指標，定義其相應的特征；再比如對UV、PV等一系列數據進行整體性的特征判斷，以判斷產品本身目前的運營特征和情況；等等...

評估模型：通過提取的特征，定義一系列的可用模型，使得從數據來源到標簽再到特征以及畫像的數據通過模型更直觀的展現出來；

應用模型：比如招聘網站按照不同職能區分的用戶對于網站的使用情況，產品對于90后用戶的運營情況等，以在某種程度上幫助改進產品和提升以及驗證運營工作對于目前產品運營的有效性。

5、舉個商業化應用的例子，比如EverString這個產品，去年年底剛剛融了B輪65m美刀。這是一家通過大數據技術提供B2B Marketing領域企業智能解決方案的公司，通過挖掘企業數據與結合企業CRM，并建立模型，再利用這些模型幫助企業來預測誰是他們下一個客戶。以下是對于這家公司業務的分析：

數據來源：通過爬蟲來抓取全網數據并結合企業CRM獲取與企業相關的數據，EverString自稱有1100萬家企業的海量數據庫；

獲取標簽：它們擁有豐富的公司標簽，以及合理的指標與權重；

定義特征：與公司業務和規模相關的特征，更加個性化并增加精準性；

評估模型：定義無論是公司層面的營銷運營模型，還是基于公司業務本身的數據模型，以關注數據應用價值和更加符合業務應用價值效果的數據模型；

應用模型：將模型應用在整體的業務流程當中，比如通過對歷史大量積累的數據進行分析和建模，從而對未來事件的決策的預測。

6、關于數據分析，并不可以簡單理解為對于對于數據進行定量、定性的分析和得出一個可用的數據結果的過程集合，這也是我為什么把數據挖掘和數據分析放在一起說的原因。數據分析一定是伴隨著數據從采集到定義，再到應用，最后通過分析數據應用的價值，并不斷自我過程優化。

從某種意義上而言，數據分析會用到的很多工具。我們會發現無論是用GA、百度統計、友盟等等，它們同樣在做著：從采集數據、獲取標簽（機型、地理位置、用戶畫像等）、定義特征（轉換率、客單價等）和模型（漏斗模型等）到應用模型（可視化圖表等）。這個過程同樣可以理解為一個數據分析方法結合數據挖掘的過程，即對可獲取的數據進行價值挖掘和應用的過程。