用R語言實現深度學習情感分析

word embeddings介紹

之前建立的情感分類的模型都是Bag of words方法，僅僅統計詞出現的次數這種方法破壞了句子的結構。這樣的結構，我們也可以使用如下的向量（one hot 編碼）表示句子「The cat sat on the mat」：

然而，在實際應用中，我們希望學習模型能夠在詞匯量很大（10,000 字以上）的情況下進行學習。從這里能看到使用「獨熱碼」表示單詞的效率問題——對這些詞匯建模的任何神經網絡的輸入層至少都有 17000,000 個節點。因此，我們需要使用更高效的方法表示文本數據，而這種方法不僅可以保存單詞的上下文的信息，而且可以在更低的維度上表示。這是word embeddings 方法發明的初衷。

word embeddings就是將一個個詞映射到低維連續向量(如下圖所示) ：

這種向量的思想就是將相似的詞映射到相似方向，所以，語義相似性就可以被編碼了。相似性一般可以通過余弦相似度來衡量：

安裝TensorFlow和Keras

# 安裝并加載Keras包install.packages("devtools") devtools::install_github("rstudio/keras") install_keras()library(keras)# 安裝并加載TensorFlow包devtools::install_github("rstudio/tensorflow")library(tensorflow) install_tensorflow()

注：安裝TensorFlow和Keras前需要安裝Anaconda，Anaconda盡量裝最新版本的，Anaconda在Windows安裝有一些坑，我是把Java環境刪掉還有使用默認路徑才成功安裝了Anaconda。

檢測是否安裝成功

# 輸入下面代碼sess = tf$Session() hello <- tf$constant('Hello, TensorFlow!') sess$run(hello)

OK,如果沒有問題的話，你的結果也將是如上圖所示，則表明你已安裝成功。

LSTM原理

長短期記憶網絡——通常簡稱“LSTMs”，是一種特殊的RNN，能夠學習長期依賴關系，它可以橋接超過1000步的時間間隔的信息。LSTM由Hochreiter和Schmidhuber （1997）提出，在后期工作中又由許多人進行了調整和普及（除了原始作者之外，許多人為現代LSTM做出了貢獻）。LSTM在各種各樣的問題上工作非常好，現在被廣泛使用。

LSTMs被設計出來是為了避免長期的依賴性問題，記憶長時間的信息實際上是他們的固有行為，而不是去學習，這點和傳統的具有強大的表征學習能力的深度神經網絡不同。

所有的RNNs（包括LSTM）都具有一連串重復神經網絡模塊的形式。在標準的RNNs中，這種重復模塊有一種非常簡單的結構，比如單個tanh層：

什么是tanh？中文叫雙曲正切函數，屬于神經網絡隱藏層的activation function（激活函數）中的一種。別以為是什么好厲害的東西，其實就是一個簡單的以原點對稱的值域為[-1,1]的非線性函數。而神經網絡中比較常見的另外一個激活函數sigmoid 函數，則不過是把tanh函數往上平移到[0，1]的區間，這個函數在LSTM也會用到。

LSTM也有像RNN這樣的鏈式結構，只不過重復模塊有著與傳統的RNN不同的結構，比傳統的RNN復雜不少：不只是有一個神經網絡層，而是有四個神經網絡層，以一個非常特殊的方式進行交互。

不用擔心看不懂細節部分是什么意思，稍后我們將逐步瀏覽LSTM圖?，F在，讓我們試著去熟悉我們將要使用的符號。

在上面所示的圖中，我們對以上符號進行如下定義：

黃塊表示學習神經網絡層（tanh層或sigmoid層）；

粉色圓圈表示按位操作，如向量加法或者向量點乘；

每條線代表著一整個向量（vector），用來表示從一個節點的輸出到另一個節點的輸入；

合并的線代表連接或者說是拼接;

分叉表示其內容被復制，復制內容將轉到不同的位置

LSTMs背后的核心理念

LSTMs的關鍵是細胞狀態（cell state），是一條水平線，貫穿圖的頂部。而Cell 的狀態就像是傳送帶，它的狀態會沿著整條鏈條傳送，而只有少數地方有一些線性交互。

因此“門”就是LSTM控制信息通過的方式，這里的” σ “指的是 sigmoid 函數。Sigmoid 層的輸出值在 0 到 1 間，表示每個部分所通過的信息?！?” 意味著“讓任何事情無法通過”或者說成”忘記所有的事“；“ 1 ”意味著”讓一切都通過！“ 或者說”我要記住這一切! “

一個 LSTM 有三個這樣的門，分別是“輸入門”、遺忘門“和 ”輸出門“，在單一模塊里面控制 cell 的狀態。

遺忘門

首先，LSTM 的第一步就是讓信息通過”遺忘門“，決定需要從 cell 中忘掉哪些信息。它的輸入是 ht-1 和 xt。另外，我們之所以使用sigmoid激活函數是因為我們所需要的數字介于0至1之間。Ct?1 就是每個在 cell 中所有在 0 和 1 之間的數值，就像我們剛剛所說的，0 代表全拋棄，1 代表全保留。

看到這里應該有朋友會問什么是ht，ht是LSTM層在t時刻的輸出，但不是最終的輸出，ht僅僅是LSTM層輸出的向量，要想得到最終的結果還要連接一個softmax層（sigmoid函數的輸出是”0“”1“，但是使用softmax函數能在三個類別以上的時候輸出相應的概率以解決多分類問題），而x就是我們的輸入，是一個又一個的詞語。

輸入門

下一步，我們需要決定什么樣的信息應該被存儲起來。這個過程主要分兩步。首先是 sigmoid 層（這就是“輸入門”）決定我們需要更新哪些值；隨后，tanh 層生成了一個新的“候選添加記憶” C`t，最后，我們將這兩個值結合起來。結合后能夠加入cell的狀態（長期記憶）中。

接下來我們可以更新 cell （長期記憶）的狀態了。首先第一步將舊狀態與通過遺忘門得到的 ft 相乘，忘記此前我們想要忘記的內容，然后加上通過輸入門和tanh層得到的候選記憶 C`t。在忘記我們認為不再需要的記憶并保存輸入信息的有用部分后，我們就會得到更新后的長期記憶。

輸出門
      接下來我們來更新一下ht，即輸出的內容，這部分由輸出門來完成。首先，我們把 cell 狀態通過 tanh 函數，將輸出值保持在-1 到 1 間。隨后，前一時刻的輸出ht-1和xt會通過一個 sigmoid 層，決定 cell 狀態輸出哪一部分。之后，我們再乘以 sigmoid 門的輸出值，就可以得到結果了。

R上用LSTM做情感分類

max_features <-20000batch_size <-32# Cut texts after this number of words (among top max_features most common words)maxlen <-80 cat('Loading data...\n') imdb <- dataset_imdb(num_words = max_features) x_train <- imdb$train$x y_train <- imdb$train$y x_test <- imdb$test$x y_test <- imdb$test$y view(x_train)

IMDB數據集包含有2.5萬條電影評論，被標記為積極和消極。影評會經過預處理，把每一條影評編碼為一個詞索引(數字)sequence(前面的一種word embeddings方法） 。

cat(length(x_train),'train sequences\n') cat(length(x_test),'test sequences\n') cat('Pad sequences (samples x time)\n') x_train <- pad_sequences(x_train, maxlen = maxlen) x_test <- pad_sequences(x_test, maxlen = maxlen) cat('x_train shape:', dim(x_train),'\n') cat('x_test shape:', dim(x_test),'\n')

cat('Build model...\n') model <- keras_model_sequential() model %>%  layer_embedding(input_dim = max_features, output_dim =128) %>%  layer_lstm(units =64, dropout =0.2, recurrent_dropout =0.2) %>%  layer_dense(units =1, activation ='sigmoid')

當然，可以嘗試使用不同的優化器和不同的優化器配置：

model %>% compile(  loss ='binary_crossentropy',  optimizer ='adam',  metrics = c('accuracy') ) cat('Train...\n') model %>% fit(  x_train, y_train,  batch_size = batch_size,  epochs =15,  validation_data = list(x_test, y_test) )

上面代碼的訓練過程如下圖所示（我電腦大概用了20min）：

# 模型的準確度度量scores <- model %>% evaluate(  x_test, y_test,  batch_size = batch_size ) cat('Test score:', scores[[1]]) cat('Test accuracy', scores[[2]])

接下來，我們再對比其他模型，不妨以隨機森林為例：

library(randomForest) y_train <- as.factor(y_train) y_test <- as.factor(y_test) rf <- randomForest(x=x_train,y=y_train,ntree=1000) predict <- predict(rf,newdata=x_test)

很顯然，集成算法隨機森林遠遠沒有LSTM出來的效果好。今天關于基于R語言的深度學習就介紹到這里。最后，很高興和大家一起學習R上的深度學習。