R文本挖掘之tm包

tm包是R文本挖掘方面不可不知也不可不用的一個package。它提供了文本挖掘中的綜合處理功能。如：數據載入，語料庫處理，數據預處理，元數據管理以及建立“文檔-詞條”矩陣。
下面，即從tm包提供的各項功能函數的探索出發，一起開始我們的文本挖掘奇幻之旅。

首先，運行下面的幾行代碼，即可看到介紹tm包的小品文：Introduction to the tm Package:Text Mining in R（https://cran.r-project.org/web/packages/tm/vignettes/tm.pdf）.
install.packages("tm")

library(tm)

vignette("tm")

tm包重要函數初探


數據載入及語料庫創建


載入數據的格式要求

tm包支持多種格式的數據。用getreaders()函數可以獲得tm包支持的數據文件格式。

library(tm)

## Loading required package: NLP

getReaders()

##  [1] "readDOC"                 "readPDF"                
##  [3] "readPlain"               "readRCV1"               
##  [5] "readRCV1asPlain"         "readReut21578XML"       
##  [7] "readReut21578XMLasPlain" "readTabular"            
##  [9] "readTagged"              "readXML"

載入數據的方式


tm包中主要管理文件的數據結構稱為語料庫（Corpus），它表示一系列文檔的集合。

語料庫又分為動態語料庫（Volatile Corpus）和靜態語料庫（Permanent Corpus）。

動態語料庫將作為R對象保存在內存中，可以使用VCorpus()或者Corpus()生成。

而動態語料庫則作為R外部文件保存，可以使用PCorpus()函數生成。

先來看一下VCorpus()函數的使用。

VCorpus(x, readerControl = list(reader = reader(x), language = "en"))

as.VCorpus(x)

第一個參數x即文本數據來源。對于as.VCorpus()中的x，指定的是一個R對象；對于VCorpus()，可以使用以下幾種方式載入x。

    DirSource():從本地文件目錄夾導入

    VectorSource():輸入文本構成的向量

    DataframeSource():輸入文本構成的data frame

對于第二個參數readerControl,即指定文件類型的對應的讀入方式。默認使用tm支持的（即getReaders()中羅列的）一系列函數。language即文件的語言類型。似乎不能支持中文。這個問題稍后解釋如何解決。

這里，使用tm包自帶的一個數據集進行語料庫創建的測試。

    DirSource()方式：

txt<-system.file("texts","txt",package = 'tm')

(docs<-Corpus(DirSource(txt,encoding = "UTF-8")))

## <<VCorpus>>
## Metadata:  corpus specific: 0, document level (indexed): 0
## Content:  documents: 5

    VectorSource()方式：

docs<-c("this is a text","And we create a vector.")

VCorpus(VectorSource(docs))

## <<VCorpus>>
## Metadata:  corpus specific: 0, document level (indexed): 0
## Content:  documents: 2

下面，導入一個數據集『冰與火之歌』全五部（沒錯，我就是來劇透的～～），作為后面練習的例子。

IceAndSongs<-VCorpus(DirSource(directory = "D:/my_R_workfile/RPROJECT/textming/data/IceAndSongs",encoding = "UTF-8"))

數據導出

將語料庫導出至本地硬盤上，可以使用writeCorpus()函數.

writeCorpus(IceAndSongs,path = "D:/my_R_workfile/RPROJECT/textming/data/Corpus")

語料庫的查看及提取

可以使用print()和summary()查看語料庫的部分信息。而完整信息的提取則需要使用inspect()函數。

inspect(IceAndSongs[1:2])

## <<VCorpus>>
## Metadata:  corpus specific: 0, document level (indexed): 0
## Content:  documents: 2
##
## [[1]]
## <<PlainTextDocument>>
## Metadata:  7
## Content:  chars: 1745859
##
## [[2]]
## <<PlainTextDocument>>
## Metadata:  7
## Content:  chars: 2018112

文件太大，而沒有打印出來。我們可以使用writeLines()函數進行完全打印查看。

writeLines(as.character(IceAndSongs[[1]]))

對于單個文檔的提取，可以類型列表取元素子集一樣使用 [[ 操作。

identical(IceAndSongs[[1]],IceAndSongs[["冰與火之歌1.txt"]])

## [1] TRUE

數據轉換

創建好語料庫之后，一般還需要做進一步的處理，如：消除空格（Whitespace）,大小寫轉換，去除停止詞，詞干化等。

所有的這些處理都可以使用tm_map()函數，通過map的方式將轉化函數應用到每一個文檔語料上。

消除空格

IceAndSongs<-tm_map(IceAndSongs,stripWhitespace)

去除數字

IceAndSongs<-tm_map(IceAndSongs,removeNumbers)

去除標點符號

IceAndSongs<-tm_map(IceAndSongs,removePunctuation)

大小寫轉換

IceAndSongs<-tm_map(IceAndSongs,tolower)

消除停止詞

tm包中自帶了停止詞集。

IceAndSongs<-tm_map(IceAndSongs,removeWords,stopwords("english"))

當然，也可以指定你自己設定的停止詞集,將stopwords("english")替換成你自己的停止詞集對象即可。


詞干化


詞干化，即詞干提取。指的是去除詞綴得到詞根的過程─—得到單詞最一般的寫法。

如以單復數等多種形式存在的詞，或多種時態形式存在的同一個詞，它們代表的其實是同一個意思。因此需要通過詞干化將它們的形式進行統一。

tm_map(IceAndSongs,stemDocument)

## <<VCorpus>>
## Metadata:  corpus specific: 0, document level (indexed): 0
## Content:  documents: 5

去除特殊字符

for(i in seq(IceAndSongs)){
  IceAndSongs[[i]]<-gsub("/"," ",IceAndSongs[[i]])
  IceAndSongs[[i]]<-gsub("@"," ",IceAndSongs[[i]])
  IceAndSongs[[i]]<-gsub("-"," ",IceAndSongs[[i]])
}

過濾

過濾功能能夠選擇出符合我們需要的文檔。

idx<-meta(IceAndSongs,"id") == "冰與火之歌1.txt"

IceAndSongs[idx]

也可以進行全文搜索匹配。如含有”winter is coming”的文檔。

tm_filter(IceAndSongs,FUN = function(x){ any(grep("winter is coming",content(x)))})

元數據管理

元數據指的是對文檔進行標簽化的附加信息?？梢酝ㄟ^meta()函數進行元數據管理。

DublinCore()函數提供了一套介于Simple Dublin Core元數據和tm元數據之間的映射機制，用于獲得或設置文檔的元數據信息。

DublinCore(IceAndSongs[[1]],tag = "creator") <- "R.R.Martin"

DublinCore(IceAndSongs[[1]])

meta(IceAndSongs[[1]])

以上操作示例主要是針對文檔級別的元數據管理。而元數據標簽其實對應了兩個級別：

    整個語料庫級別：文檔的集合

    單個文檔級別

而文檔級別的標簽，可以用于文檔分類(classification)。

下面演示一下語料庫級別的元數據管理。

meta(IceAndSongs,tag = "test",type = "corpus")<-"test meta"

meta(IceAndSongs,type = "corpus")

創建詞條-文檔矩陣

詞條-文檔矩陣是一個非常重要的對象，它是后續建立文本分類，文本聚類等模型的基礎。

詞條-文檔矩陣指的是詞條作為行，文檔標簽作為列的稀疏矩陣。當然，也可以建立“文檔-詞條矩陣”。對應的兩個操作函數為：TermDocumentMatrix()和DocumentTermMatrix().

dtm<-DocumentTermMatrix(IceAndSongs)

inspect(dtm[1:5,100:105])

默認情況下，矩陣的元素是詞的頻率。而我們還有一個重要參數可以設置?？梢詫⒕仃嚨脑剞D化為TF-IDF值。

dtm_2<-DocumentTermMatrix(IceAndSongs,
                        control = list(removePunctuation = TRUE,stopwords = FALSE,weighting =
              function(x)weightTfIdf(x,normalize = TRUE)))

inspect(dtm[1:5,10:15])
對文檔詞條矩陣操作
tm包提供的文檔-詞條矩陣操作有：詞頻過濾；詞語之間的相關性計算；去除稀疏詞等。
findFreqTerms(dtm,10)
findAssocs(dtm,"winter",0.5)
inspect(removeSparseTerms(dtm,0.4))
字典
字典是一個字符集。它可以作為一個控制參數傳入DocumentTermMatrix(),從而選擇我們需要的詞條建立文檔-詞條矩陣。
inspect(DocumentTermMatrix(IceAndSongs,
                           list(dictionary = c("winter","power","ice"))))