[plain]view plaincopyprint?

######批量讀入文本 

read.txt <- function(x) {   des <- readLines(x)                   #每行讀取 

return(paste(des, collapse = ""))     #沒有return則返回最后一個函數對象 

} 

review <- lapply(completepath, read.txt) 

#如果程序警告，這里可能是部分文件最后一行沒有換行導致，不用擔心。  

[plain]view plaincopyprint?

[1] ""                                                                                                                                                             

[2] "剛買的這款電腦，在自提點打開的，就發現鍵盤已經壞了，有個按鍵都快掉了，自提點不管，讓去聯系退換貨部門，退換貨部門說鍵盤壞了不管退換，讓去惠普自己更換新鍵盤。" 

[3] ""                                                                                                                                                             

[4] "在京東剛買的東西出現問題就要四處跑去修理，他們把責任推的一干二凈，現在除非你出具惠普的質檢報告，他們才給受理。"                                               

[5] ""     

return(paste)函數將每一行粘貼在一起，最后返回完整的文本內容；

[plain]view plaincopyprint?

docname <- list.files(reviewpath, pattern = "*.txt$") 

reviewdf <- as.data.frame(cbind(docname, unlist(review)),   

                          stringsAsFactors = F)  

colnames(reviewdf) <- c("id", "msg")   #列名  

[plain]view plaincopyprint?

reviewdf$msg <- gsub(pattern = " ", replacement ="", reviewdf$msg)  #gsub是字符替換函數，去空格 

reviewdf$msg <- gsub("\t", "", reviewdf$msg) #有時需要使用\\\t   

reviewdf$msg <- gsub(",", "，", reviewdf$msg)#文中有英文逗號會報錯，所以用大寫的“，” 

reviewdf$msg <- gsub("~|'", "", reviewdf$msg)#替換了波浪號（~）和英文單引號（'），它們之間用“|”符號隔開，表示或的關系 

reviewdf$msg <- gsub("\\\"", "", reviewdf$msg)#替換所有的英文雙引號（"），因為雙引號在R中有特殊含義，所以要使用三個斜杠（\\\）轉義  

[plain]view plaincopyprint?

sentence <- as.vector(test$msg) #文本內容轉化為向量sentence 

sentence <- gsub("[[:digit:]]*", "", sentence) #清除數字[a-zA-Z] 

sentence <- gsub("[a-zA-Z]", "", sentence)   #清除英文字符 

sentence <- gsub("\\.", "", sentence)      #清除全英文的dot符號 

sentence <- sentence[!is.na(sentence)]   #清除對應sentence里面的空值（文本內容），要先執行文本名 

sentence <- sentence[!nchar(sentence) < 2] #`nchar`函數對字符計數，英文嘆號為R語言里的“非”函數  

[plain]view plaincopyprint?

stopword <- read.csv("F:/R語言/R語言與文本挖掘/情感分析/數據/dict/stopword.csv", header = T, sep = ",", stringsAsFactors = F) 

stopword <- stopword[!stopword$term %in% posneg$term,]#函數`%in%`在posneg$term中查找stopword的元素，如果查到了就返回真值，沒查到就返回假 

#結果是一個和stopword等長的波爾值向量，“非”函數將布爾值反向 

testterm <- testterm[!testterm$term %in% stopword,]#去除停用詞  

[plain]view plaincopyprint?

stopword <- read.csv("F:/R語言/R語言與文本挖掘/情感分析/數據/dict/stopword.csv", header = T, sep = ",", stringsAsFactors = F) 

stopword <- setdiff(stopword$term,posneg$term) 

testterm<- setdiff(testterm$term,stopword)  

[plain]view plaincopyprint?

#plyr包里的`join`函數會根據名稱相同的列進行匹配關聯，`join`默認設置下執行左連接 

reviewdf <- join(表1,表2) 

reviewdf <- 表1[!is.na(表1$label),]  #非NA值的行賦值  

[plain]view plaincopyprint?

> head(temp)  

       term           df      阿波羅 0.0000573263 

2 阿爾卑斯山 0.0000573263 

3     阿富汗 0.0001719789 

4       阿哥 0.0001146526 

5     阿根廷 0.0000573263 

6     阿拉伯 0.0001146526 

> head(traintfidf[,1:3])  

       id label       term 

1  4995.txt     1     阿波羅 

2 16443.txt     1 阿爾卑斯山 

3 12897.txt     1     阿富汗 

4  7001.txt     1     阿富汗 

5  9427.txt     1     阿富汗 

6 12368.txt     1       阿哥  

[plain]view plaincopyprint?

> head(traintfidf[,1:5])    

  id label       term tf           df  

  4995.txt     1     阿波羅  1 0.0000573263   16443.txt     1 阿爾卑斯山  1 0.0000573263 

12897.txt     1     阿富汗  2 0.0001719789  

7001.txt     1     阿富汗  1 0.0001719789 

9427.txt     1     阿富汗  1 0.0001719789 

12368.txt     1       阿哥  1 0.0001146526 

[plain]view plaincopyprint?

system.time(x <- segmentCN(strwords = sentence))  

#每次可能耗費時間較長的過程，都要使用少量數據預估一下時間，這是一個優秀的習慣 

temp <- lapply(x, length) #每一個元素的長度,即文本分出多少個詞 

temp <- unlist(temp)  #lapply返回的是一個list，所以3行unlist 

id <- rep(test[, "id"], temp) #將每一個對應的id復制相應的次數，就可以和詞匯對應了 

label <- rep(test[, "label"], temp)#id對應的情感傾向標簽復制相同的次數 

term <- unlist(x) #6行將list解散為向量 

testterm <- as.data.frame(cbind(id, term, label), stringsAsFactors = F) 

#將一一對應的三個向量按列捆綁為數據框，分詞整理就基本結束了  

[plain]view plaincopyprint?

library(plyr)  testterm <- join(testterm, posneg) 

testterm <- testterm[!is.na(testterm$weight), ] 

head(testterm)  

[plain]view plaincopyprint?

dictresult <- aggregate(weight ~ id, data = testterm, sum)  

[plain]view plaincopyprint?

dictlabel <- rep(-1, length(dictresult[, 1])) 

dictlabel[dictresult$weight > 0] <- 1 

dictresult <- as.data.frame(cbind(dictresult, dictlabel), stringsAsFactors = F)