大數據之基于模型的復雜數據多維聚類析(二)

在隱樹模型中，一個隱變量對應一種數據聚類的方法。隱樹模型允許模型中有多個隱變量，所以自然地可以多維同時聚類。在例子模型中，可以按照分析能力或者語言能力對學生聚類，也可以按照智力對學生聚類。在隱樹模型中，聚類分析可以通過計算給定學生成績的后驗概率進行判斷。所以，利用隱樹模型進行多維聚類分析的技術重點就在如何通過觀測數據學習一個最優的模型。抽象地說，就是找到能夠最好地解釋數據的一個生成隱樹模型(Generative Latent tree model)。

隱樹模型的學習

　　隱樹模型的學習是一個對模型逐步優化的過程，優化的目標函數是一個稱為貝葉斯信息準則(Bayes information criterion， 簡稱BIC) 的函數：

　　BIC(m|D) = max θ log P(D|m, θ) – d(m)logN/2

　　BIC準則要求模型與數據盡量緊密地擬合，但其復雜不能過高。所以式中第一項表示擬合程度，而第二項是對于模型復雜度的一個懲罰項。我們的優化過程是一個基于搜索的爬山算法(Hill-Climbing)。以只包含一個隱變量的簡單的隱樹模型作為搜索的起始模型，在搜索的過程中，逐步引入新的隱變量、增加隱變量的取值個數、或者調整變量之間的連接。這是一個逐步修改模型的過程，在這個過程中，模型與數據的擬合程度不斷改進，從而BIC分逐步增加。當模型就變得太復雜時，BIC會不升反降，于是搜索過程停止。

　　隱樹模型的學習是一個非常耗時的過程，主要原因在于對于BIC分數的計算。BIC函數的第一項叫做最大似然函數，在模型包含缺失值或者隱變量時，計算最大似然函數需要調用EM(Expectation-Maximization)算法。盡管我們已經對于限制了模型結構為簡單的樹狀結構，但是在這樣的模型上進行EM的計算依然是非常困難。圍繞隱樹模型的很多工作都是在研究如何對模型學習進行加速的，這兒就不贅述了。

　　基于隱樹模型的多維聚類分析實例

　　我們以一個真實的數據分析實例來展現多維聚類分析。數據來自某地區的關于貪污的社會調查問卷。通過一些數據預處理，我們的數據(如圖所示)包含了1200份的問卷，以及31個問題。比如說C_City表示被訪問者對于該地區的貪污普遍性的看法，可以有4個選項，分別是非常普遍，普遍，不普遍，以及非常不普遍。C_Gov和C_Bus分別表示受訪者對于該地區政府部門或商業部門的貪污普遍性的看法，同樣也有四個選項。Tolerance_C_Gov和Tolerance_C_Bus則分別表示受訪者對于該地區的政府部門以及商業部門的貪污的容忍程度，可以選擇完全不能容忍，不能容忍，能容忍，完全能容忍。數據表里面的-1表示受訪者對該問題的回答缺失。

　　利用隱樹的學習算法，我們從這個數據得到了一個如圖所示的模型。葉節點對應問卷問題，即顯變量。中間結點，Y0-Y8是從數據中發現的隱變量，括號里面的數字表示這個變量所取的狀態個數。我們發現這些隱變量都有一定的意義，比如，Y2和問卷中的Sex，Age，Income，Education這些問題緊密連接，說明Y2應該是表示受訪人的人口統計信息。Y3和問卷中的Tolerance_C_Gov和Tolerance_C_Bus緊密聯系，說明Y3是反映受訪者總體對于貪污的看法。

　　模型中的每個隱變量表示數據聚類的一種方式。比如，變量Y2有4個值，說明Y2提示數據可以分成四個類。這種聚類主要基于Sex，Age，Income，Education這些人口統計信息相關變量的，所以可以說當我們關注人群的人口統計信息這個側面時，我們可以根據Y2把人群分成四類。具體地研究這四類的類條件概率(Class-Conditional ProbabilityDistribution)特性，我們進一步發現它們分別代表：低收入的年輕人群，低收入的女性人群，受過高等教育的高收入人群，以及只接受初等教育的一般收入人群。同時，我們看到Y3有3個取值，這說明從人群對于貪污總體看法這個側面出發，可以把人群分成三類，分別是對于貪污完全不能容忍的人群，對于貪污比較不能容忍的人群，對于貪污可以容忍的人群。同樣地，我們的聚類也可以基于其他隱變量所代表的側面。這樣從模型中我們得到了9種聚類的方法，達到了多維同時聚類的效果。