小白學數據分析--在clementine基于兩步聚類算法的次日留

上次簡單的說了一下SPSS下使用兩步聚類分析的大致過程，今天簡單說說在Clementine下怎么進行聚類分析，方法同樣是兩步聚類。
　　之前說過聚類分析是無指導的，揭示的輸入字段集的模式，不是一種預測。在我們輸入的字段上進行聚類分析找出組合最佳，能夠反映共同屬性的模式。兩步聚類有兩步，第一步是擴展，處理成若干子聚類，第二步利用分層聚類方法進行合并，形成大的聚類，實際上是剪枝合并的過程，此步不再進行數據處理。分層聚類不需要確定聚類數，這點在兩步聚類分析中得以避免，因為分層聚類經常因為處理大數據量而失敗，但是第一步的數據預處理得以避免了這個問題的出現。
兩步聚類分析的數據要求
1）  角色設置必須為輸入，其他的目標、兩者或者無都會在分析中被忽略；
2）  不處理缺失值；
3）  模型構建時，忽略輸入字段包含空白的記錄。
　　小白學數據分析--在clementine基于兩步聚類算法的次日留

下面就說一下在Clementine中操作過程和注意事項。
　　首先我們打開Clementine[有關Clementine的基礎操作以后會慢慢整理]，第一件事就是要引入我們要分析的文件，目前clementine支持的數據文件格式非常豐富，如下圖：

今天我們使用的文件是SPSS文件的格式，因此，在源選項卡，雙擊SPSS文件圖標，就會出現以下的畫面[或者左鍵點擊直接拖入數據流編輯區域]：

之后右鍵編輯，彈出窗口，在彈出窗口找到要分析的SPSS文件，引入：

點擊類型的標簽，可以看到目前字段的類型、是否缺失、設置方向等等信息，如下圖：

點擊確定，完成了數據文件的引入操作，但是往往我們文件中的一些字段在進行分析時是不需要的，有一些字段的屬性還需要調整，數據質量還要檢驗，因此簡單說說這個過程。
數據質量檢驗
輸出選項卡，雙擊數據審核圖標，此時就會自動連接數據文件，數據審核幫助簡單分析和整理原數據文件的情況。

右鍵單擊數據審核圖標，選擇執行，彈出窗口，可以看到字段類型、是否有空值、完成度等信息，彈出如下的窗口：

分析字段選擇
有一些字段在我們分析的時候是不需要的，比如我們這個文件中的playerid字段就沒什么實際利用意義，為此這一類的字段我們可以實現進行排除，這樣后續的操作和分析會比較便利，此處我們做的是次日留存玩家的特征提取和分析，由于此處我們使用的文件已經是經過處理的，即已經把非新登用戶那一部分數據踢出了，否則此處我們就必須使用這個功能[次日留存玩家設置為NO，非新登玩家次日登陸的設置為YES]，此處我們通過選擇排除playerid這個字段。
單擊字段選項，雙擊選擇過濾圖標，并使之與源文件連接：

右鍵編輯，在打開的窗口中，把playerid過濾掉，點擊箭頭即可，變成紅叉表明被過濾，在后續的分析中不會出現該字段。

此時我們可以連接顯示一下過濾以后的數據內容形式，在輸出選項，雙擊表圖標，連接一個個表，此時右鍵執行，看到如下的效果，發現playerid木有了。

下面到了比較重要的地方，我們選擇建模，之后選擇細分標簽里的兩步，雙擊，連接到文件上，效果如下：

右鍵兩步圖標，選擇編輯，彈出了兩步節點模型的選項

模型名稱
可以選擇自己設定，也可以系統生成。
使用分區數據
若定義了分區字段，那么這個選項保證了僅僅訓練分區的數據用于構建模型。此處我們沒有進行數據的分區操作，不必勾選這個選項。
標準化數值字段
默認情況下，兩步聚類會對所有數值輸入字段進行標準化，使它們具有相同的尺度，即均值為 0 且方差為 1。要保留數值字段的原始尺度，可取消選中此選項。符號字段不受影響。
排除離群值
如果選中此選項，則那些與主要聚類似乎格格不入的記錄將自動排除在分析之外。這樣可以防止此類情況歪曲結果。
IBM官方手冊的解釋如下：
“離群值檢測在預聚類步驟進行。選中此選項時，會將相對于其他子聚類具有較少記錄的
子聚類視為潛在離群值，且重新構建不包括這些記錄的子聚類樹。子聚類被視為包含潛在離群值的下限大小由百分比選項控制。如果其中某些潛在離群值記錄與任何新子聚類配置足夠相似，則可將其添加到重新構建的子聚類中。將其余無法合并的潛在離群值視為離群值添到“噪聲”聚類中并排除在分層聚類步驟之外。
使用經過離群值處理的“兩步”模型對數據進行評分時，會將與最近主要聚類的距離大于特定閾值距離（基于對數似然）的新觀測值視為離群值分配到“噪聲”聚類中，名稱為 -1?！?br /> 聚類標簽
為生成的聚類成員關系字段指定格式
自動計算聚類數
“兩步聚類可以非常迅速地對大量聚類解決方案進行分析并為訓練數據選擇最佳聚類數。通過設置最大聚類數和最小聚類數指定要嘗試的聚類解決方案的范圍?！皟刹骄垲悺蓖ㄟ^一個兩階段過程確定最佳聚類數。在第一個階段，隨著所添加聚類的增多，可基于貝葉斯信息準則 (BIC) 中的差異選擇模型中聚類數的上限。在第二個階段，為聚類數比最小 BIC 解決方案還少的所有模型找出聚類間最小距離的差異。距離的最大差異用于識別最終聚類模型?！?br /> 指定聚類數
如果確定聚類數，也可以自己自行指定。
距離測量
同樣這里有兩種，歐式和對數似然，但是由于有分類變量只能選擇對數似然。
聚類準則
準則有BIC和AIC，確定自動聚類算法如何確定聚類數。
之后點擊執行，但是此時我們發現了如下的錯誤：

原來我們對于過濾后的數據，沒有進行數據類型的重新指定，為此此處我們要重新指定數據的類型，字段選項卡，雙擊類型，之后再次連接兩步的圖標，此時就OK了。如下所示：

此后，執行模型，返回聚類模型結果信息，如下所示：

雙擊打開該模型，顯示信息如下：

模型顯示主要有模型，查看器，匯總三個重要的標簽，此處先看匯總：

“兩步”聚類模型塊的“匯總”選項卡顯示找出的聚類數以及有關訓練數據、估計過程和所使用的構建設置的信息。
查看器主要是通過圖形化手段顯示聚類的信息，便于用戶更加直觀的分析（但是我覺得很蛋疼，沒發現直觀那里去）。

相比較而言我覺得比較有用的模型界面，這里能夠很直觀看到我們使用該算法構建的模型的具體情況，這里我們分析的次日留存的玩家的特征。在確定的變量我們構建了兩個類。

可以看到一類比較龐大，但是注意：得到的模型一定程度上取決于訓練數據的順序。重排數據順序并重新構建模型有可能得到不同的聚類模型。并且通過聚類分析得到的以此結果并不能足夠說明我們整個玩家的特征，其顯著性是需要檢驗的，這受到諸如游戲活動，聚類分析樣本提取時間，等很多的因素影響，換句話要想具有普適性，還是需要迭代，不斷的綜合和分析整理才能拿出來玩家的特點，切勿選取一批樣本數據，得到的玩家特點就放之四海，利用起來，而這也是CRISP-DM所提出的早期的工作重中之重和加入評估階段的要義。所以還是多多進行如此類的時間，有的放矢才能做好。