大數據之基于模型的復雜數據多維聚類析(一)

隨著現實和虛擬世界的數據產生速度越來越迅猛，人們開始關注如何從這些數據中獲取信息，知識，以及對于決策的支持。這樣的任務通常被稱作大數據分析(BigData Analytics)。大數據分析的難點很多，比如，由于海量數據而帶來的分析效率瓶頸，使用戶不能及時得到分析結果;由于數據源太多而帶來的非結構化問題，使傳統的數據分析工具不能直接利用。

本文討論大數據內部關系的復雜性，以及復雜數據所帶來的對于聚類分析的挑戰。聚類分析的目標是依據數據本身的分布特征(無監督)，把整個數據(空間)劃分成不同的類?；镜臏蕜t是同類的數據應該具有某種的相似性，而異類的數據應該具有某種差異性?，F有工作假設在這些數據中存在單一的聚類劃分的方法，而聚類目標就是找到這樣的一種劃分。然而，我們在大數據中所面對的復雜數據是多側面的，比如在網頁數據中既有關于內容的文本屬性，也有指向這個網頁的鏈接屬性。多側面數據本身就存在著多種有意義的劃分，強制地將數據按照單一的方法聚類，得不到有效的、明確清晰的、可詮釋的結果。針對這個問題，多維聚類方法針對數據的不同側面，得到數據聚類的多種方法，最后讓使用者決定需要的聚類劃分。

　　多維聚類的概念

假設我們需要對圖中的所有圖片進行聚類，可能的聚類方法不止一種：按照圖片的內容，我們可以把左邊的圖片標注成袋鼠，而右邊的標注成樹;而按照圖片風格屬性，我們可以把上面的圖片稱為色彩圖，而下面的稱為線條圖。簡而言之，關注數據的不同側面，有可能得到不同的聚類結果。同時這些聚類結果也都是有意義，可以解釋的。

生活中多維聚類的例子很多，比如對于人群的劃分，可以按照男女等人口統計學信息劃分，也可以按照對于某個事件的看法劃分。那么從機器學習的角度如何公式化這樣的問題，之后又怎么利用概率統計的方法去解決這樣的問題呢?下面我們先給出問題的定義。

如圖所示，在聚類分析這樣的無監督學習中，輸入是一個數據表。表的每一行表示一個數據點，而每一列表示描述這個點的一維屬性。大數據的一個重要特征就是維度很高(包含很多列)，從而帶來的維度災難(curseof dimensionality)。在聚類分析中，表現為：這些維度可能自然地分成一些組，每組包含一些屬性，反應了數據某一側面(facet)的特征。用戶可以根據其中一個側面的屬性，對這個數據進行聚類。比如在右表的數據中，一個學生的數據包含了數學成績，理綜成績，文綜成績，和語文成績這些屬性。我們可以關注學生的數學和理綜成績，按照理科成績(分析能力)對學生進行聚類;同時也可以關注學生的文綜和語文成績，按照文科成績(語言能力)對學生進行聚類。

所以多維聚類的問題定義為：

如何發現數據中包含的多個側面，即屬性的自然分組，針對這些不同側面進行聚類，從而得到多種聚類方法。

多維聚類分析的工具和原理

　　貝葉斯網絡是一種表示和處理隨機變量之間復雜關系的工具。它是通過在隨機變量之間加箭頭而得到的有向無圈圖。箭頭表示直接概率依賴關系，具體依賴情況由條件概率分布所定量刻畫。出于對計算復雜度的考慮，人們會對貝葉斯網絡進行一些限制，在實際中使用一些特殊的網絡結構。隱樹模型(latent tree model)是一類特殊的貝葉斯網，也稱為多層隱類模型(hierarchical latent class model), 是一種樹狀貝葉斯網， 其中葉節點代表觀察到的變量，也稱為顯變量，其它節點代表數據中沒有觀察到的變量，也稱為隱變量。

　　圖中給出了隱樹模型的一個例子。其中，學生的“數學成績”、“理綜成績”、“語文成績”和“文綜成績”是顯變量，而“智力”、“分析能力”和“語言能力”則是隱變量。從“分析能力”到“數學成績”有一個箭頭， 表示“數學成績”直接依賴“分析能力”，具體依賴情況由右圖中的條件概率表所定量所刻畫。表中的內容是說，分析能力低的學生在數學科有0.5的概率不及格、0.4的概率及格、0.1的概率得良，而得優的概率則是0; 等等。模型中的其它箭頭代表其它變量之間直接依賴關系，每個箭頭都有相應的條件概率分布。