聚類分析中幾種算法的比較

將數據庫中的對象進行聚類是聚類分析的基本操作，其準則是使屬于同一類的個體間距離盡可能小，而不同類個體間距離盡可能大，為了找到效率高、通用性強的聚 類方法人們從不同角度提出了近百種聚類方法，典型的有K-means方法、K-medoids方法、CLARANS方法,BIRCH方法等，這些算法適用 于特定的問題及用戶。本文綜合提出了評價聚類算法好壞的5個標準，基于這5個標準，對數據挖掘中常用聚類方法作了比較分析，以便于人們更容易、更快捷地找 到一種適用于特定問題及用戶的聚類算法。

聚類算法研究及比較框架
　　聚類算法一般有五種方法，最主要的是劃分方法和層次方法兩種。劃分聚類算法通過優化評價函數把數據集分割為K個部分，它需要K作為 輸人參數。典型的分割聚類算法有K-means算法, K-medoids算法、CLARANS算法。層次聚類由不同層次的分割聚類組成，層次之間的分割具有嵌套的關系。它不需要輸入參數，這是它優于分割聚類 算法的一個明顯的優點，其缺點是終止條件必須具體指定。典型的分層聚類算法有BIRCH算法、DBSCAN算法和CURE算法等。
　　對各聚類算法的比較研究基于以下5個標準：
　?、?是否適用于大數據量，算法的效率是否滿足大數據量高復雜性的要求;
　?、?是否能應付不同的數據類型，能否處理符號屬性;
　?、?是否能發現不同類型的聚類;
　?、?是否能應付臟數據或異常數據;
　?、?是否對數據的輸入順序不敏感。
　　下面將在該框架下對各聚類算法作分析比較。

數據挖掘常用聚類算法比較分析 
    3.1 K-pototypes算法
　　K-pototypes算法結合了K-means方法和根據K-means方法改進的能夠處理符號屬性的K-modes方法，同K-means方法相比，K-pototypes 算法能夠處理符號屬性。

3.2 CLARANS算法（劃分方法）
　　CLARANS算法即隨機搜索聚類算法，是一種分割聚類方法。它首先隨機選擇一個點作為當前點，然后隨機檢查它周圍不超過參數Maxneighbor 個的一些鄰接點，假如找到一個比它更好的鄰接點，則把它移人該鄰接點，否則把該點作為局部最小量。然后再隨機選擇一個點來尋找另一個局部最小量，直至所找 到的局部最小量數目達到用戶要求為止。該算法要求聚類的對象必須都預先調人內存，并且需多次掃描數據集，這對大數據量而言，無論時間復雜度還是空間復雜度 都相當大。雖通過引人R-樹結構對其性能進行改善，使之能夠處理基于磁盤的大型數據庫，但R*-樹的構造和維護代價太大。該算法對臟數據和異常數據不敏 感，但對數據物人順序異常敏感，且只能處理凸形或球形邊界聚類。

3.3 BIRCH算法（層次方法）
　　BIRCH算法即平衡迭代削減聚類法，其核心是用一個聚類特征3元組表示一個簇的有關信息，從而使一簇點的表示可用對應的聚類特征，而不必用具體的一 組點來表示。它通過構造滿足分支因子和簇直徑限制的聚類特征樹來求聚類。BIRCH算法通過聚類特征可以方便地進行中心、半徑、直徑及類內、類間距離的運 算。算法的聚類特征樹是一個具有兩個參數分枝因子B和類直徑T的高度平衡樹。分枝因子規定了樹的每個節點子女的最多個數，而類直徑體現了對一類點的直徑大 小的限制即這些點在多大范圍內可以聚為一類，非葉子結點為它的子女的最大關鍵字，可以根據這些關鍵字進行插人索引，它總結了其子女的信息。
　　聚類特征樹可以動態構造，因此不要求所有數據讀人內存，而可以在外存上逐個讀人。新的數據項總是插人到樹中與該數據距離最近的葉子中。如果插人后使得 該葉子的直徑大于類直徑T，則把該葉子節點分裂。其它葉子結點也需要檢查是否超過分枝因子來判斷其分裂與否，直至該數據插入到葉子中，并且滿足不超過類直 徑，而每個非葉子節點的子女個數不大于分枝因子。算法還可以通過改變類直徑修改特征樹大小，控制其占內存容量。
　　BIRCH算法通過一次掃描就可以進行較好的聚類，由此可見，該算法適合于大數據量。對于給定的M兆內存空間，其空間復雜度為O(M)，時間間復雜度 為O(dNBlnB(M/P)).其中d為維數,N為節點數,P為內存頁的大小，B為由P決定的分枝因子。I/O花費與數據量成線性關系。BIRCH算法 只適用于類的分布呈凸形及球形的情況，并且由于BIRCH算法需提供正確的聚類個數和簇直徑限制，對不可視的高維數據不可行。
　　3.4 CURE算法（層次方法）
　　CURE算法即使用代表點的聚類方法。該算法先把每個數據點看成一類，然后合并距離最近的類直至類個數為所要求的個數為止。CURE算法將傳統對類的 表示方法進行了改進，回避了用所有點或用中心和半徑來表示一個類，而是從每一個類中抽取固定數量、分布較好的點作為描述此類的代表點，并將這些點乘以一個 適當的收縮因子，使它們更靠近類的中心點。將一個類用代表點表示，使得類的外延可以向非球形的形狀擴展，從而可調整類的形狀以表達那些非球形的類。另外， 收縮因子的使用減小了嗓音對聚類的影響。CURE算法采用隨機抽樣與分割相結合的辦法來提高算法的空間和時間效率，并且在算法中用了堆和K-d樹結構來提 高算法效率。
　　3.5 DBSCAN算法（基于密度的方法）
　　DBSCAN算法即基于密度的聚類算法。該算法利用類的密度連通性可以快速發現任意形狀的類。其基本思想是：對于一個類中的每個對象，在其給定半徑的 領域中包含的對象不能少于某一給定的最小數目。在DBSCAN算法中，發現一個類的過程是基于這樣的事實：一個類能夠被其中的任意一個核心對象所確定。為 了發現一個類，DBSCAN先從對象集D中找到任意一對象P，并查找D中關于關徑Eps和最小對象數Minpts的從P密度可達的所有對象。如果P是核心 對象，即半徑為Eps的P的鄰域中包含的對象不少于Minpts,則根據算法，可以找到一個關于參數Eps和Minpts的類。如果P是一個邊界點，則半 徑為Eps的P鄰域包含的對象少于Minpts，P被暫時標注為噪聲點。然后，DBSCAN處理D中的下一個對象。
　　密度可達對象的獲取是通過不斷執行區域查詢來實現的。一個區域查詢返回指定區域中的所有對象。為了有效地執行區域查詢，DBSCAN算法使用了空間查 詢R-樹結構。在進行聚類前，必須建立針對所有數據的R*-樹。另外，DBSCAN要求用戶指定一個全局參數Eps(為了減少計算量，預先確定參數 Minpts)。為了確定取值，DBSCAN計算任意對象與它的第k個最臨近的對象之間的距離。然后，根據求得的距離由小到大排序，并繪出排序后的圖，稱 做k-dist圖。k-dist圖中的橫坐標表示數據對象與它的第k個最近的對象間的距離；縱坐標為對應于某一k-dist距離值的數據對象的個數。 R*-樹的建立和k-dist圖的繪制非常消耗時間。此外，為了得到較好的聚類結果，用戶必須根據k-dist圖，通過試探選定一個比較合適的Eps值。 DBSCAN算法不進行任何的預處理而直接對整個數據集進行聚類操作。當數據量非常大時，就必須有大內存量支持，I/O消耗也非常大。其時間復雜度為 O(nlogn)(n為數據量)，聚類過程的大部分時間用在區域查詢操作上。DBSCAN算法對參數Eps及Minpts非常敏感，且這兩個參數很難確定。
　　3.6 CLIQUE算法（綜合了基于密度和基于網格的算法）
　　CLIQUE算法即自動子空間聚類算法。該算法利用自頂向上方法求出各個子空間的聚類單元。CLUQUE算法主要用于找出在高維數據空間中存在的低維 聚類。為了求出d維空間聚類，必須組合給出所有d-1維子空間的聚類，導致其算法的空間和時間效率都較低，而且要求用戶輸入兩個參數：數據取值空間等間隔 距離和密度闊值。這2個參數與樣木數據緊密相關，用戶一般難以確定。CLIQUE算法對數據輸人順序不敏感。

4 總結
基于上述分析，我們得到各聚類算法的比較結果，結論如下：
　　
算法 算法效率 適合的數據類型 發現的聚類類型 對臟數據或異常數據的敏感性 對數據輸入順序的敏感性
BIRCH       高          數值             凸形或球形            不敏感                  不太敏感
DBSCAN   一般         數值            任意形狀                敏感                       敏感
CURE       較高         數值           任意形狀               不敏感                  不太敏感
K-poto     一般      數值和符號      凸形或球形             敏感                     一般
CLARANS 較低         數值            凸形或球形            不敏感                 非常敏感
CUQUE    較低         數值             凸形或球形             一般                    不敏感
由于每個方法都有其特點和不同的適用領域，在數據挖掘中，用戶應該根據實際需要選擇恰當的聚類算法。