數據挖掘中的分類問題

分類（classification）問題是數據挖掘領域研究的歷史最為悠長，也是研究的較為透徹的問題。在數據挖掘領域，分類可以看成是從一個數據集到一組預先定義的、非交疊的類別的映射過程。其中映射關系的生成以及映射關系的應用就是數據挖掘分類方法主要的研究內容。這里的映射關系就是我們常說的分類函數或分類模型（分類器），映射關系的應用就對應于我們使用分類器將數據集中的數據項劃分到給定類別中的某一個類別的過程。

舉一個簡單的例子，我們人是怎么區分另一個人是男性和女性的問題就是一個分類的問題。在我們的大腦中早就建立了男人和女人的模型，每當我們遇到一個陌生人的時候，我們的大腦就獲取到了這個人的特征信息，通過大腦中的模型去將這個人歸類到男性或者女性的類別中（當然人的大腦神經系統處理這個問題時的流程往往比我們這里敘述的復雜的多）。但是我們大腦中的模型是怎么建立的呢？是生來就有的嗎？很明顯不是。我們大腦建立模型的過程都是從過去的經驗中總結積累出來的，并在實踐過程中不斷地修正或擴充。

很明顯我們就可以從上面的例子中得出分類的實踐意義是什么——分類從歷史的特征數據中推導出特定對象的描述模型，用來對未來數據的預測和分析。分類方法具有廣泛的應用領域，比如醫療診斷、信用卡系統的信用分級、圖像模式識別、網絡數據分類等。

1分類的基本概念和過程描述：

分類的定義：給定一個數據集D={t1,t2,…,tn}和一組類C={C1,C2,…,Cn}，分類問題就是去確定一個映射f：D->C，每個元組ti被分配到一個類中。類Cj包含映射到該類中的所有數據元組，即Cj={ti | f(ti)=Cj，1<=i<=n，且ti∈D}。

一般地，數據分類分類兩個步驟：建模和模型應用。

1.建立模型，描述預訂的數據類集和概念集。

通過分析由屬性描述的數據集元組來構造模型。數據元組即樣本、實例或對象。用于建模而被分析的數據元組的集合形成了訓練集，訓練集中的樣本即是訓練元組。為了保證建造的模型與與原始數據的分布匹配且可用，我們需要從樣本群中隨機的選取訓練樣本。每個訓練元組都有一個特定的類標簽與之對應，即對于樣本數據X，其中x是他的訓練元組，y是對應的類標簽，X就可以理解為類似的二維坐標關系X（x，y），當然這里只是便于理解的簡單例子。實際上，x往往包含多個特征值，是多維向量。

分類器模型的一般表示形式為分類規則、決策樹或等式、不等式、規則式等形式，這個分類器模型對歷史數據分布模型進行了歸納，可以用來為以后的數據樣本分類，也能幫助人們更好的理解數據集的內容或含義。

2.分類模型的應用。

分類器在使用之前，首先要準確的評估模型的預測準確率，只有在模型的準確率可以接受時，才可以用它來對類標號未知的數據元組或對象進行分類。模型在給定測試數據上的準確率是指測試樣本被模型正確分類的百分比，對于每個測試樣本，將已知的類標號和該樣本被分類模型預測的類作比較，這樣就確定了測試樣本是否被準確分類。需要注意的是，若將訓練數據用作測試數據，則模型的預測準確率將過分樂觀，因為學習模型傾向于過分的擬合訓練數據。因此，比較合理的模型評估方法是使用交叉驗證法，從原始數據集中隨機選取獨立于訓練樣本的測試數據。

簡單地說來，分類的兩個步驟可以歸結為模型的建立和使用模型進行分類。模型的建立的過程就是使用訓練數據進行學習的過程，模型的應用過程就是對類標號未知的數據進行分類的過程。

2從機器學習的角度看分類問題：

機器學習中的方法或范式（paradigm）有很多種分類體系，例如從學習的方式分，有從例子中學習、類比學習、分析學習等，但一般來說，現在研究得最多、被認為最有用的是從例子中學習（learning from examples）。對從例子中學習，又有很多分類方法，例如從學習的主動性方面，可以分為主動學習（active learning）和被動學習（passive learning）；從訓練過程啟動的早晚，可以分為迫切學習（eager learning）和惰性學習（lazy learning）；等等。

對“從例子中學習”的方法，從訓練樣本的歧義性（ambiguity）的角度來進行分類，機器學習可以分為監督學習、非監督學習和強化學習，這是機器學習最常見的分類方法。對于監督學習，給定一系列訓練樣本，其中每個樣本都做上了標記，比如說標記出這個樣本來自對一個蘋果的一次觀測。學習的目的是從這些帶有標記的樣本中學習到一些概念,比如說什么樣的數據對應蘋果而不是香蕉,并且在未來給出新的樣本時,能夠正確預測新樣本的標記。這里所有訓練例的概念標記都是已知的，因此訓練樣本的歧義性最低。簡單的說，監督學習就是由訓練樣本中學到或建立一個模式（函數 / learning model），并依此模式推測新的instances。訓練樣本是由數據元組（通常是向量）和預期輸出（類別值）所組成。函數的輸出可以是一個連續的值（稱為回歸分析），或是預測一個分類標簽（稱作分類）。

3分類器常見的構造方法：

從分類器構造參照的理論原理來源來看，分類器常見的構造方法可以分為3大類：數理統計方法、機器學習方法和神經網絡方法等。

數理統計方法：包括貝葉斯法和非參數法。常見的臨近學習或基于事例的學習（Instance-Based Learning，IBL）屬于非參數方法。k-最鄰近算法（k-Nearest Neighborhors，簡稱kNN）就是屬于非參數方法。

機器學習方法：決策樹法和規則歸納法。

神經網絡方法：BP算法.

其他，如粗糙集等。

從使用技術上來分，可以分為四種類型：基于距離的分類方法、決策樹分類方法、貝葉斯分類方法和規則歸納方法?；诰嚯x的分類方法主要有最鄰近方法；決策樹方法有ID3、C4.5、VFDT等；貝葉斯方法包括樸素貝葉斯方法和EM算法；規則歸納方法包括AQ算法、CN2算法和FOIL算法。

分類方法中我們不僅需要研究分類器的構造方法和應用，還要考慮到分類數據的預處理以及分類算法的性能評價。