數據建模那點事兒

今天要說內容是建模。為啥我作為一個數學能力并不強的人要在這獻丑講建模的事呢？其實我的目的很簡單，就是為了告訴大家一個事實：數據分析中的建模，并沒有想象中那么高深莫測，人人都有機會做出自己的模型。

第一部分：數據建模理論和邏輯

一、從數據分析的定義開始

維基百科對數據分析的定義如下：

Analysis of data is a process of inspecting, cleaning, transforming, and modeling data with the goal of discovering useful information, suggesting conclusions, and supporting decision making. Data analysis has multiple facets and approaches, encompassing diverse techniques under a variety of names, in different business, science, and social science domains.
（來源：Data analysis）

簡單翻譯：數據分析是一個包含數據檢驗、數據清洗、數據重構，以及數據建模的過程，目的在于發現有用的信息，有建設性的結論，輔助決策的制定。數據分析有多種形式和方法，涵蓋了多種技術，應用于商業、科學、社會學等多個不同的領域。

和上篇文章中我畫的圖對比一下：

我在上篇文章中為了讓初學者更容易走通全流程，簡化了數據清洗的過程，實際上數據清洗絕非一次完成，“檢驗-清洗-檢驗”的過程可能會重復數次乃至數十次。

而建模呢？再次引用維基上對數據建模的定義：

Data modeling is a process used to define and analyze data requirements needed to support the business processes within the scope of corresponding information systems in organizations. Therefore, the process of data modeling involves professional data modelers working closely with business stakeholders, as well as potential users of the information system.（來源：Data modeling）
簡單翻譯：數據建模是一個用于定義和分析在組織的信息系統的范圍內支持商業流程所需的數據要求的過程。因此，數據建模的過程需要專業建模師與商業人員和信息系統潛在用戶的緊密合作。這段話的定義更偏向信息系統和商業數據建模，我之所以在此引用這段話，是為了明確接下來的討論內容主要方向是商業數據分析和建模，至于科學研究方向的數據建模，不在這篇文章的討論范圍以內。

請注意上邊這段話中的一個核心：支持商業流程。商業數據建模，乃至商業數據分析，其最終目的都是要支持某種商業流程，要么優化原有流程，提高各部分效率；要么重構原有流程，減少步驟；要么告訴決策者，哪些流程改造方向是錯誤的，以避免走錯路。最終的目標，一定是提升效率。但在不同的情況下，提升效率的方式也是不同的，因此在每個模型建立時，都需要確定其解決的具體目標問題。

再往前走一步，數學—主要是統計學，在建模的過程中又扮演什么樣的角色呢？繼續引用維基：

Mathematical formulas or models called algorithms may be applied to the data to identify relationships among the variables, such as correlation or causation. In general terms, models may be developed to evaluate a particular variable in the data based on other variable(s) in the data, with some residual error depending on model accuracy (i.e., Data = Model + Error)（來源：Data modeling）

簡單翻譯：數學公式或模型稱為算法，可應用于數據以確定變量之間的關系，如相關性或因果關系。在一般情況下，模型開發出來后用于評估一個特定的變量與數據中其他其他變量的關系，根據模型的準確性不同，這些關系中會包含殘差（即，數據=模型+錯誤）

這段描述很明確，統計學在數據建模的過程中，主要用于幫助我們找出變量之間的關系，并對這種關系進行定量的描述，輸出可用于數據集的算法。一個好的數據模型，需要通過多次的測試和優化迭代來完成。

綜上，給出一個我認為的“數據建模”定義：數據集+商業目標+算法+優化迭代= 數據建模。定義中的每一部分都必不可少。

二、數據模型的建立過程

照例，先上流程圖：

上圖的流程顏色對應數據分析全流程，為了方便大家閱讀，我把全流程圖再貼一次：

接下來，我重點解讀明黃色（淺黃？）部分的內容：

• 選擇變量與重構變量

在進行建模之前，首先要考慮的是使用哪些變量來建立模型，需要從業務邏輯和數據邏輯兩個方面來考慮：

業務邏輯：變量基于收集到的數據，而數據在收集時，會產生與業務層面相關的邏輯，比如在汽車參數中，一旦我們定義了“家用轎車”這個類別，那么無論什么品牌什么車型，“輪胎數量（不計備胎）”這個變量就有99%以上幾率為4……當然在接下來的建模中，我們不會選擇這個變量。這一類情況是業務知識來告訴我們哪些變量可以選擇，哪些不能選擇。

數據邏輯：通常從數據的完整性、集中度、是否與其他變量強相關（甚至有因果關系）等角度來考慮，比如某個變量在業務上很有價值，但缺失率達到90%，或者一個非布爾值變量卻集中于兩個值，那么這個時候我們就要考慮，加入這個變量是否對后續分析有價值。

我個人認為，在選擇變量時，業務邏輯應該優先于數據邏輯，蓋因業務邏輯是從實際情況中自然產生，而建模的結果也要反饋到實際中去，因此選擇變量時，業務邏輯重要程度相對更高。

而在變量本身不適合直接拿來建模時，例如調查問卷中的滿意度，是漢字的“不滿意”“一般”“滿意”，那么需要將其重構成“1”（對應不滿意）“2”（對應一般）“3”（對應滿意）的數字形式，便于后續建模使用。

除這種重構方式之外，將變量進行單獨計算（如取均值）和組合計算（如A*B）也是常用的重構方法。其他的重構方法還有很多種，在此不一一闡述。

• 選擇算法

我們在建模時，目標是解決商業問題，而不是為了建模而建模，故此我們需要選擇適合的算法。常用建模算法包括相關、聚類、分類（決策樹）、時間序列、回歸、神經網絡等。

以對消費者的建模為例，舉一些場景下的常用算法對應：

劃分消費者群體：聚類，分類；

購物籃分析：相關，聚類；

購買額預測：回歸，時間序列；

滿意度調查：回歸，聚類，分類；

等等。

確定算法后，要再看一下變量是否滿足算法要求，如果不滿足，回到選擇/重構變量，再來一遍吧。如果滿足，進入下一步。

• 設定參數

算法選定后，需要用數據分析工具進行建模。針對不同的模型，需要調整參數，例如聚類模型中的K-means算法，需要給出希望聚成的類別數量，更進一步需要給出的起始的聚類中心和迭代次數上限。

這些參數在后續測試中會經過多次調整，很少有一次測試成功的情況，因此請做好心理準備。

• 加載算法與測試結果

算法跑完之后，要根據算法的輸出結果來確定該算法是否能夠解決問題，比如K-means的結果不好，那么考慮換成系統聚類算法來解決?；蛘呋貧w模型輸出的結果不滿足需求，考慮用時間序列來做。

如果不需要換算法，那么就測試一下算法輸出的結果是否有提升空間，比如聚類算法中指定聚類結果包含4類人群，但發現其中的兩類特征很接近，或者某一類人群沒有明顯特征，那么可以調整參數后再試。

在不斷的調整參數，優化模型過程中，模型的解釋能力和實用性會不斷的提升。當你認為模型已經能夠滿足目標需求了，那就可以輸出結果了。一個報告，一些規則，一段代碼，都可能成為模型的輸出。在輸出之后，還有最后一步：接收業務人員的反饋，看看模型是否解決了他們的問題，如果沒有，回到第一步，再來一次吧少年……

以上，就是建模的一般過程。如果你有些地方覺得比較生澀，難以理解，也沒有關系。下一篇專欄中，我將向你們介紹一個具體的數據模型，我會對建模的過程一步步進行拆解，力求簡明易懂。

第二部分：數據建模的應用