Python中文文本聚類

查看百度搜索中文文本聚類我失望的發現，網上竟然沒有一個完整的關于Python實現的中文文本聚類（乃至搜索關鍵詞python 中文文本聚類也是如此），網上大部分是關于文本聚類的Kmeans聚類的原理，Java實現，R語言實現，甚至都有一個C++的實現。
正好我寫的一些文章，我沒能很好的分類，我想能不能通過聚類的方法將一些相似的文章進行聚類，然后我再看每個聚類大概的主題是什么，給每個聚類一個標簽，這樣也是完成了分類。
中文文本聚類主要有一下幾個步驟，下面將分別詳細介紹：
    切詞
    去除停用詞
    構建詞袋空間VSM(vector space model)
    TF-IDF構建詞權重
    使用K-means算法
一、 切詞
這里中文切詞使用的是結巴切詞，github項目主頁，作者微博
github項目主頁上有結巴切詞的詳細安裝方式，以及示例說明，這里不再詳述，一般情況下，可以使用如下方式安裝。

# pip install jieba

或者

# easy_install jieba

還可以參考一下文章：
1.Python中文分詞組件 jieba
2.python 結巴分詞(jieba)學習
二、 去除停用詞
結巴分詞雖然有去除停用詞的功能，但是好像只是給jieba.analyse組建使用的，并不給jieba.cut使用，所以這里我們還是要自己構建停用詞文件，以及去除停用詞。
常見的中文停用詞有：
1. 中文停用詞表(比較全面,有1208個停用詞)
2. 最全中文停用詞表整理（1893個）
實現代碼如下（代碼比較水）：
def read_from_file(file_name):
    with open(file_name,"r") as fp:
        words = fp.read()
    return words
def stop_words(stop_word_file):
    words = read_from_file(stop_word_file)
    result = jieba.cut(words)
    new_words = []
    for r in result:
        new_words.append(r)
    return set(new_words)
def del_stop_words(words,stop_words_set):
#   words是已經切詞但是沒有去除停用詞的文檔。
#   返回的會是去除停用詞后的文檔
    result = jieba.cut(words)
    new_words = []
    for r in result:
        if r not in stop_words_set:
            new_words.append(r)
    return new_words
三、 構建詞袋空間VSM(vector space model)
接下來是構建詞袋空間，我們的步驟如下
1. 將所有文檔讀入到程序中，再將每個文檔切詞。
2. 去除每個文檔中的停用詞。
3. 統計所有文檔的詞集合（sk-learn有相關函數，但是我知道能對中文也使用）。
4. 對每個文檔，都將構建一個向量，向量的值是詞語在本文檔中出現的次數。
這舉個例子，假設有兩個文本，1.我愛上海，我愛中國2.中國偉大,上海漂亮
那么切詞之后就有一下詞語：我，愛，上海，中國，偉大，漂亮，,(逗號也可能被切詞)。
再假設停用詞是我 ，，那么去除停用詞后，剩余的詞語就是
愛，上海，中國，偉大，漂亮
然后我們對文檔1和文檔2構建向量，那么向量將如下：
文本     愛     上海     中國     偉大     漂亮
文檔1     2     1     1     0     0
文檔2     0     1     1     1     1
代碼如下：
def get_all_vector(file_path,stop_words_set):
    names = [ os.path.join(file_path,f) for f in os.listdir(file_path) ]
    posts = [ open(name).read() for name in names ]
    docs = []
    word_set = set()
    for post in posts:
        doc = del_stop_words(post,stop_words_set)
        docs.append(doc)
        word_set |= set(doc)
        #print len(doc),len(word_set)

    word_set = list(word_set)
    docs_vsm = []
    #for word in word_set[:30]:
        #print word.encode("utf-8"),
    for doc in docs:
        temp_vector = []
        for word in word_set:
            temp_vector.append(doc.count(word) * 1.0)
        #print temp_vector[-30:-1]
        docs_vsm.append(temp_vector)

    docs_matrix = np.array(docs_vsm)
    在python中表示可能如下[[2,1,1,0,0],[0,1,1,1,]]，我們盡可能將其放入到numpy的array或者matrix中方便下面TF-IDF的計算。
四、 將單詞出現的次數轉化為權值（TF-IDF）
換句話說，我們的vsm保存的本來已經是向量的形式，我們為什么還需要TF-IDF的形式呢？我認為這就是為了將單詞出現的次數轉化為權值。
關于TF-IDF的介紹可以參考網上的文章：
1. 基本文本聚類方法
2. TF-IDF百度百科
3. TF-IDF維基百科英文版(需要翻墻)
這里需要注意的是關于TF(term frequency)的計算，關于IDF(Inverse document frequency)的計算，我看公式基本上都是一樣的：
逆向文件頻率（inverse document frequency，IDF）是一個詞語普遍重要性的度量。某一特定詞語的IDF，可以由總文件數目除以包含該詞語之文件的數目，再將得到的商取對數得到：
本公式用編輯，推薦一個令人驚嘆的網站：Detexify
其中
：語料庫中的文件總數
：包含詞語的文件數目（即的文件數目）如果該詞語不在語料庫中，就會導致分母為零，因此一般情況下使用作為分母。
然而百度百科以及網上大部分關于TF的介紹其實是有問題的，TF-IDF百度百科中說詞頻（term frequency，TF）指的是某一個給定的詞語在該文件中出現的頻率，那么很明顯這個計算公式就為：
然而這種計算方式常常會導致TF過小，其實TF-IDF并不是只有一種計算方式，而是多種，這個時候就體現出維基百科的威力了，具體的關于TF-IDF的介紹還是要參照維基百科。

如果不熟悉numpy，可以參考numpy官方文檔

column_sum = [ float(len(np.nonzero(docs_matrix[:,i])[0])) for i in range(docs_matrix.shape[1]) ]
column_sum = np.array(column_sum)
column_sum = docs_matrix.shape[0] / column_sum
idf =  np.log(column_sum)
idf =  np.diag(idf)
# 請仔細想想，根絕IDF的定義，計算詞的IDF并不依賴于某個文檔，所以我們提前計算好。
# 注意一下計算都是矩陣運算，不是單個變量的運算。
for doc_v in docs_matrix:
    if doc_v.sum() == 0:
        doc_v = doc_v / 1
    else:
        doc_v = doc_v / (doc_v.sum())
    tfidf = np.dot(docs_matrix,idf)
    return names,tfidf
現在我們擁有的矩陣的性質如下，

    列是所有文檔總共的詞的集合。
    每行代表一個文檔。
    每行是一個向量，向量的每個值是這個詞的權值。
五、 用K-means算法進行聚類
到這個時候，我們可以使用kmeans算法進行聚類，對kmeans算法來說，它看到已經不是文本了，只是矩陣而已，所以我們用的也是通用的kmeans算法就可以了。
關于kmeans的介紹可以見于如下的文章：
1. 基本Kmeans算法介紹及其實現
2. K-means百度百科
3. 淺談Kmeans聚類
所不同的是，在大部分的文本聚類中，人們通常用余弦距離（很好的介紹文章）而不是歐氏距離進行計算，難道是因為稀疏矩陣的原因，我并不太明白。

下面的代碼來自《機器學習實戰》第十章的代碼：

def gen_sim(A,B):
    num = float(np.dot(A,B.T))
    denum = np.linalg.norm(A) * np.linalg.norm(B)
    if denum == 0:
        denum = 1
    cosn = num / denum
    sim = 0.5 + 0.5 * cosn
    return sim
def randCent(dataSet, k):
    n = shape(dataSet)[1]
    centroids = mat(zeros((k,n)))#create centroid mat
    for j in range(n):#create random cluster centers, within bounds of each dimension
        minJ = min(dataSet[:,j])
        rangeJ = float(max(dataSet[:,j]) - minJ)
        centroids[:,j] = mat(minJ + rangeJ * random.rand(k,1))
    return centroids

def kMeans(dataSet, k, distMeas=gen_sim, createCent=randCent):
    m = shape(dataSet)[0]
    clusterAssment = mat(zeros((m,2)))#create mat to assign data points
                                      #to a centroid, also holds SE of each point
    centroids = createCent(dataSet, k)
    clusterChanged = True
    counter = 0
    while counter <= 50:
        counter += 1
        clusterChanged = False
        for i in range(m):#for each data point assign it to the closest centroid
            minDist = inf;
            minIndex = -1
            for j in range(k):
                distJI = distMeas(centroids[j,:],dataSet[i,:])
                if distJI < minDist:
                    minDist = distJI;
                    minIndex = j
            if clusterAssment[i,0] != minIndex:
                clusterChanged = True
            clusterAssment[i,:] = minIndex,minDist**2
        #print centroids
        for cent in range(k):#recalculate centroids
            ptsInClust = dataSet[nonzero(clusterAssment[:,0].A==cent)[0]]#get all the point in this cluster
            centroids[cent,:] = mean(ptsInClust, axis=0) #assign centroid to mean
    return centroids, clusterAssment
六、 總結
基本上到這里為止，一個可用的中文文本聚類工具已經完成了，github項目地址。
其效果到底怎么樣呢？
我自己有一些未分類的文章屬于人生感悟（羞羞臉）類別的共有182篇，在切詞以及去除停用詞之后，共得到13202個詞語，我設置K=10，嗯，效果并不是太好，當然可能有一下原因：
    文檔本身已經屬于高度分類的了，基于詞頻的聚類并不能發現關于這些文章間的細微的區別。
    算法需要優化，可能有些地方可以設置修改一下。
總之，在學習若干天機器學習后，第一次實踐之旅算是結束了。