一、基本概念

1.數據分析和數據挖掘的概念

數據分析（Data Analysis） 是以數據為分析對象，以探索數據內的有用信息為主要途徑，以解決業務需求為最終目標，包含業務理解、數據采集、 數據清洗、數據探索、數據可視化、數據建模、模型結果可視化、分析結果的業務應用等步驟在內的一整套分析流程。

數據挖掘（Data Mining) : 是一個跨學科的計算機科學分支，它是用人工智能、機器學習、統計學和數據庫的交叉方法在相對較大型的數據集中發 現模式的計算過程。

2.數據分析的八個層次

數據分析的目的：發現有價值的信息、提出結論、為業務發展提供輔助決策。它描述了 ”過去發生了什么“、”現在 正在發生什么“ 和 “未來可能發生什么”。根據分析層次的級別不同，分為常規報表、即席查詢、多維分析（又稱鉆 取或OLAP）、警報、統計分析、預報（或者時間序列預測）、預測型建模（Predictive Model）和優化。

3.大數據對傳統小數據的拓展及其區別與聯系

數據上：小數據重抽樣，大數據重全體。由于傳統小數據分析的本質是基于樣本推斷總體，因此在分析過程中十分 注重抽樣的科學性。只有抽樣是科學的，其推斷結果才具有科學意義。而大數據雖然不一定是總體，但由于在建模 方法上已經更偏向于機器學習，因此抽樣已經不是必要的手段和方法論了。

方法上：小數據重實證，大數據重優化。傳統的小數據在方法上更重視實證研究，強調在相關理論的前提下建立假設，收集數據，建立模型并驗證假設。而大數據往往更重視方法論中的自我迭代和自我優化過程，可能運算的第一 個結果與標準答案相差甚遠，但是可以通過與正確答案的不斷校準（往往建立損失函數），使得模型的精度不斷提高。

目標上：小數據重解釋，大數據重預測。小數據的分析往往注重歸因分析，探索變量之間的內部影響機理，例如究竟什么樣的生活習慣會提高癌癥的發病率。但是大數據往往關心的是對于未知對象的預測，例如判別某個人是否患有癌癥，或者患有癌癥的概率是多少。

4.數據分析目標的意義、過程及其本質

可以認為數據分析涉及到公司運營的方方面面，這包括對企業部門經營情況的評估、內部員工的管理、生產流程的監管、 產品結構優化與新產品開發、財務成本優化、市場結構的分析和客戶關系的管理。其中，關于客戶與市場的數據分析是 “重頭戲”。下面以客戶全生命周期管理為例介紹數據分析運用場景和挖掘主題，如下圖所示。

二、數據挖掘 方法論

1.CRISP-DM 方法論

CRISP-DM方法論將數據挖掘項目生命周期分為6個階段，它們分別是業務理解、數據理解、數據準備、建模、模型評 估和模型發布，如下圖所示。

下圖呈現了通用數據挖掘方法論（CRISP-DM）流程的6個階段。下面簡短地介紹了每個階段的要點。

業務理解（Business Understanding） 該初始階段集中在從商業角度理解項目的目標和要求，通過理論分析轉化為數據挖掘可操作的問題，制定實現目標的初 步計劃。

數據理解（Data Understanding） 數據理解階段開始于原始數據的收集，然后是熟悉數據、標明數據質量問題、探索對數據的初步理解、發覺有趣的子集 以形成對探索關系的假設。

數據準備（Data Preparation） 數據準備階段包括所有從原始的、未加工的數據構造數據挖掘所需信息的活動。數據準備任務可能被實施多次，而且沒 有任何規定的順序。這些任務的主要目的是從源系統根據維度分析的要求，獲取所需要的信息，需要對數據進行轉換和 清洗。

建模（Modeling） 在此階段，主要是選擇和應用各種建模技術，同時對它們的參數進行校準，以達到最優值。通常對同一個數據挖掘問題 類型，會有多種建模技術。一些技術對數據格式有特殊的要求，因此，常常需要返回到數據準備階段。

模型評估（Evaluation） 在模型最后發布前，根據商業目標評估模型和檢查建立模型的各個步驟。此階段關鍵目的是，判斷是否存在一些重要的 商業問題仍未得到充分考慮。

模型發布（Deployment） 模型完成后，由模型使用者（客戶）根據當時背景和目標完成情況，決定如何在現場使用模型。比如，在網頁的實時個 人化中或營銷數據的重復評分中。

2.SEMMA 方法論

SAS公司的數據挖掘項目實施方法論，對CRISP-DM方法中的數據準備和建模環節進行了拓展，被稱為SEMMA方法， 如下圖所示。

3.5個步驟中的主要任務，如下圖所示。

數據整理

涉及數據采集、數據合并與抽樣的操作，目的是為了構造分析用到的數據。分析人員根據維度分析獲得的結果作為整理 數據的依據，將散落在公司內部與外部的數據進行整合。

樣本探索

這個步驟的主要任務是對數據質量的探索。變量質量方面涉及錯誤值（如：年齡=-30）、恰當性（客戶的某些業務指標 為缺失值，實際上是沒有這個業務，值應該為“0”）、缺失值（沒有客戶的收入信息）、一致性（收入單位為人民幣， 而支出單位為美元）、平穩性（某些數據的均值變化過于劇烈）、重復值（相同的交易被記錄兩次）和及時性（銀行客 戶的財務數據更新的滯后時長）等方面。這部分的探索主要解決變量是錯誤時是否可以修改、是否可以使用的問題。

變量修改

根據變量探索的結論，需要對數據質量問題和變量分布情況分別作變量修改。數據質量問題的修改涉及改正錯誤編碼、 缺失值填補、單位統一等操作。變量分布情況的修改涉及函數轉換和標準化方法，具體的修改方法需要與后續的統計建 模方法相結合。

建模 根據分析的目的選取合適的模型，這部分內容在“數據分析方法分類介紹”已經作了詳細的闡述，這里不再贅述。

模型檢驗 這里指模型的樣本內驗證，即使用歷史數據對模型表現的優劣進行評估。比如，對有監督學習會使用ROC曲線和提升度 等技術指標評估模型的預測能力。

數據分析中不同人員的角色與職責

業務問題是需求，最終需要轉換成統計或數據挖掘等問題，用數據分析的思路來解決，因此數據分析師在業務與數據間 起到協調作用，是業務問題能否成功轉換成統計問題的關鍵。通常來說，業務問題需要一個或多個字段來表達，這些字 段以什么形式出現（如測量級別），因為字段的形式會決定選擇的方法，而每種方法又用于解決特定的需求，此外由于 模型對業務人員或企業高管來說可能過于專業，因此需要將模型輸出通俗的表達出來。所以協調者、數據分析師、報告 人的角色，決定了數據分析師是一名（精通數理和軟件的）綜合型人才。

三、例題精講

1.公司營銷部門每月例會報告的經營指標匯總，屬于下列哪一類數據分析？

A. 客戶行為的數據挖掘報告

B. 描述性數據分析報告

C. 產品和行為傾向報告

D. 以上都不對

答案：B 解析：按照慣例經營指標匯總，通常是報告業績指標的數量、金額、百分比或排名等信息，這類 分析多數歸屬于描述性數據分析，而且是單變量分析的內容。AC項涉及行為特點和商品特征的關 系，屬于多變量分析的內容。

2.以下哪些內容包含在數據分析層次級別中？

A. 即席查詢

B. 多維分析（又稱為鉆取或者OLAP）

C. 統計分析與警報

D. 與業務人員協商知識點

答案：ABC 解析：考察數據分析的八個層次，需要在理解的基礎上加以記憶。

3.統計模型主要用于解決哪幾類問題？

A. 預測分類問題

B. OLAP分析問題

C. 相關分析

D. 市場細分問題

答案：ACD 解析：A項、C項和D項是統計模型的典型問題，但OLAP分析問題并不是統計模型。

4.下列關于數據挖掘流程表達正確的一項是：

A. 方法論CRISP-DM與SEMMA是業內公認的權威流程，嚴格按照步驟做數據分析總不會出錯的

B. CRISP-DM（譯為“跨行業”數據挖掘）在任何數據分析行業中均適用

C. SEMMA方法論是對CRISP-DM方法中的數據準備和建模環節進行了拓展

D. 由于數據比較整潔，所以可以不需要再做數據預處理，直接從建模開始

答案：C 解析：AB兩項都犯同一類錯誤，就是過于迷信方法論的共識性，D項中數據分析的一般性 描述是很重要的預分析過程，不僅如此，模型對于數據的要求也很高，樣本探索、變量整理等預處理工作都不可省去。

5.關于客戶生命周期管理，下列哪一項不屬于對既有高價值客戶的分析內容？

A. 行為信用評分

B. 初始信用評分

C. 產品精準營銷

D. 客戶留存管理

答案：B 解析：高價值客戶屬于企業的既有客戶，而初始信用評分屬于對潛在響應客戶的 策略分析。

6.統計模型主要用于解決哪幾類問題？

A.預測分類問題

B.OLAP分析問題

C.相關分析

D.市場細分問題

答案：ACD 解析：A項、C項和D項是統計模型的典型問題，但OLAP分析問題并不屬于統計模型。

點擊CDA題庫鏈接，獲取免費版CDA題庫入口，?？荚図樌?，快速拿證！