前言

本文主要是用 cpu 版本的 tensorflow 2.1 搭建深度學(xué)習(xí)模型，完成對電影評論的情感分類任務(wù)。 本次實踐的數(shù)據(jù)來源于IMDB 數(shù)據(jù)集，里面的包含的是電影的影評，每條影評評論文本分為積極類型或消極類型。數(shù)據(jù)集總共包含 50000 條影評文本，取該數(shù)據(jù)集的 25000 條影評數(shù)據(jù)作為訓(xùn)練集，另外 25000 條作為測試集，訓(xùn)練集與測試集中包含相等數(shù)量的積極和消極影評，保證數(shù)據(jù)質(zhì)量的平衡。

實現(xiàn)過程和思路解析

下載影評數(shù)據(jù)并進行 padding 處理

（1）這里主要是通過 tf 內(nèi)置的接口從網(wǎng)絡(luò)上下載 imdb 數(shù)據(jù)，該數(shù)據(jù)是已經(jīng)經(jīng)過處理的，每一條評論中的每個單詞都是用對應(yīng)的整數(shù)表示的，所以每一條評論都是一個整數(shù)列表。而對應(yīng)的每條影評的標(biāo)簽是一個 0 或 1 的整數(shù)， 0 代表的是消極評論，1 代表的是積極評論。

（2）這里的 num_words=6000 表示我們只需要保留了訓(xùn)練數(shù)據(jù)中出現(xiàn)頻率最高的 6000 個常用單詞，低頻詞會被全部棄用，因為一方面這些低頻詞可能是些符號或者停用詞，對影評情感分類沒有意義，另一方面如果低頻詞太多，需要構(gòu)造的詞典太過龐大，嚴重影響計算效率，且消耗大量內(nèi)存。

import tensorflow as tf
from tensorflow import keras
imdb = keras.datasets.imdb
num_words = 6000
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=num_words)

（3）這里主要是建立整數(shù)與單詞之間的映射關(guān)系，并建立了一個函數(shù) decode_review 可以將影評數(shù)據(jù)從數(shù)字序列轉(zhuǎn)換回單詞序列。

word_index = imdb.get_word_index()
word_index = {k:(v+3) for k,v in word_index.items()}
word_index["<PAD>"] = 0
word_index["<START>"] = 1
word_index["<UNK>"] = 2  # unknown
word_index["<UNUSED>"] = 3
index_word = dict([(value, key) for (key, value) in word_index.items()])
def decode_review(text):
    return ' '.join([index_word.get(i, '?') for i in text])

（4）這里主要是對影評數(shù)據(jù)進行填充，因為每條數(shù)據(jù)的長度（數(shù)字序列的長度）是不一致的，而要進行深度學(xué)習(xí)模型的輸入必須要保證每條影評數(shù)據(jù)的長度相等，所以我們要進行填充操作，指定了最大的影評長度 maxlen 為 256 ，如果超過 256 則進行截斷，如果不足 256 則用 0 （也就是<PAD>對應(yīng)的整數(shù)）在末尾進行填充。這里的 maxlen 可以隨意指定，但是其長度會影響模型的效果，需要在實踐中不斷調(diào)整折中。

train_data = keras.preprocessing.sequence.pad_sequences(train_data, value=word_index["<PAD>"], padding='post', maxlen=256)
val_data = keras.preprocessing.sequence.pad_sequences(val_data, value=word_index["<PAD>"], padding='post', maxlen=256)
test_data = keras.preprocessing.sequence.pad_sequences(test_data, value=word_index["<PAD>"], padding='post', maxlen=256)

創(chuàng)建驗證集數(shù)據(jù)

這里主要是創(chuàng)建驗證集，那么有了訓(xùn)練集為什么要創(chuàng)建驗證集呢？首先我們要知道訓(xùn)練集數(shù)據(jù)是用來開發(fā)和調(diào)整模型的，而檢查模型的準(zhǔn)確率指標(biāo)只能是用未見過的數(shù)據(jù)進行評測，所以我們從原始的訓(xùn)練數(shù)據(jù)中抽取出 10000 個樣本來創(chuàng)建驗證集，此時訓(xùn)練樣本只有 15000 個，我們結(jié)合使用訓(xùn)練集和驗證集共同調(diào)整和開發(fā)模型，當(dāng)模型定型之后，最后需要使用一次測試集評估模型的實際使用效果即可。

val_data = train_data[:10000]
val_labels = train_labels[:10000]
train_data = train_data[10000:]
train_labels = train_labels[10000:]

搭建簡單的深度學(xué)習(xí)模型

（1）第一層是 Embedding 層，它將輸入的每一個單詞轉(zhuǎn)換為一個 32 維的向量，所以每一個樣本輸入就從一維的 (sequence) 變成了二維的 (sequence, 32)

（2）第二層主要是使用了平均池化操作 GlobalAveragePooling1D ， 此操作可以將每個樣本的二維維度向量 (sequence, 32) 又壓縮成一維向量 (32) ，上一步中的 32 維向量表示的是每個單詞向量，但是這里的 32 維向量表示的是一個影評樣本向量。

（3）第三層是一個通過 relu 激活函數(shù)將輸入轉(zhuǎn)換成輸出為 16 維度向量的全連接層操作

（4）第四層是一個通過 sigmoid 激活函數(shù)將輸入轉(zhuǎn)換成輸出為 1 維度向量的全連接層操作，也就是最后輸出一個介于 0 與 1 之間的浮點數(shù)，它表示了概率，常規(guī)情況下如果概率大于等于 0.5 則說明該樣本預(yù)測類別為 1 ，否則說明該樣本預(yù)測類別為 0

model = keras.Sequential()
model.add(keras.layers.Embedding(num_words, 32))
model.add(keras.layers.GlobalAveragePooling1D())
model.add(keras.layers.Dense(16 , activation='relu'))
model.add(keras.layers.Dense(1, activation='sigmoid'))
model.summary()

配置并編譯模型

（1）我們選擇了常用的 Adam 優(yōu)化器，你也可以自行選擇其他優(yōu)化器。

（2）因為這是一個二分類問題且模型會輸出一個概率值，我們選擇了常見的 binary_crossentropy 損失函數(shù)。

（3）評估指標(biāo)我們選擇了最容易理解的準(zhǔn)確率 accuracy 。

model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

訓(xùn)練模型

這里主要是使用訓(xùn)練數(shù)據(jù)進行模型的訓(xùn)練，使用訓(xùn)練集反復(fù)進行 40 次模型訓(xùn)練，并且在訓(xùn)練過程中，使用驗證集的 10000 個樣本來評估模型上的損失值（loss）和準(zhǔn)確率（accuracy）。

model.fit(train_data, train_labels, epochs=40, batch_size=512, validation_data=(val_data, val_labels), verbose=1)

輸出如下所示：

Train on 15000 samples, validate on 10000 samples
Epoch 1/40
15000/15000 [==============================] - 3s 169us/sample - loss: 0.6913 - accuracy: 0.5465 - val_loss: 0.6881 - val_accuracy: 0.6872
Epoch 2/40
15000/15000 [==============================] - 1s 88us/sample - loss: 0.6815 - accuracy: 0.7043 - val_loss: 0.6732 - val_accuracy: 0.7427
Epoch 3/40
...
Epoch 38/40
15000/15000 [==============================] - 1s 79us/sample - loss: 0.1045 - accuracy: 0.9707 - val_loss: 0.3431 - val_accuracy: 0.8738
Epoch 39/40
15000/15000 [==============================] - 1s 76us/sample - loss: 0.1022 - accuracy: 0.9712 - val_loss: 0.3470 - val_accuracy: 0.8737
Epoch 40/40
15000/15000 [==============================] - 1s 77us/sample - loss: 0.0985 - accuracy: 0.9735 - val_loss: 0.3526 - val_accuracy: 0.8725

評估模型

這里主要是使用測試數(shù)據(jù)對模型進行評估，由于當(dāng)前模型較為簡單，如果使用復(fù)雜的模型和更好的訓(xùn)練方法，準(zhǔn)確率應(yīng)該能達到 98% 以上.

model.evaluate(test_data,  test_labels, verbose=2)

結(jié)果輸出為，損失為 0.368 ，準(zhǔn)確率為 0.86488 ：

[0.368153291721344, 0.86488]

以上就是Tensorflow2.1實現(xiàn)文本中情感分類實現(xiàn)解析的詳細內(nèi)容，更多關(guān)于Tensorflow2.1文本情感分類的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論