關于Word2Vec可視化展示
Word2Vec簡介
自然語言處理的核心概念之一是如何量化單詞和表達式，以便能夠在模型環(huán)境中使用它們。語言元素到數值表示的這種映射稱為詞嵌入。
Word2Vec是一個詞嵌入過程。這個概念相對簡單：通過一個句子一個句子地在語料庫中循環(huán)去擬合一個模型，根據預先定義的窗口中的相鄰單詞預測當前單詞。
為此，它使用了一個神經網絡，但實際上最后我們并不使用預測的結果。一旦模型被保存，我們只保存隱藏層的權重。在我們將要使用的原始模型中，有300個權重，因此每個單詞都由一個300維向量表示。
請注意，兩個單詞不必彼此接近的地方才被認為是相似的。如果兩個詞從來沒有出現(xiàn)在同一個句子中，但它們通常被相同的包圍，那么可以肯定它們有相似的意思。
Word2Vec中有兩種建模方法：skip-gram和continuous bag of words，這兩種方法都有各自的優(yōu)點和對某些超參數的敏感性。
當然，你得到的詞向量取決于你訓練模型的語料庫。一般來說，你確實需要一個龐大的語料庫，有維基百科上訓練過的版本，或者來自不同來源的新聞文章。我們將要使用的結果是在Google新聞上訓練出來的。
簡單可視化
自定義一個很小的語料庫，嘗試給出Word2Vec的簡單可視化：
import gensim
%matplotlib inline
from gensim.models import Word2Vec
from sklearn.decomposition import PCA
from matplotlib import pyplot
# 訓練的語料
sentences = [['this', 'is', 'the', 'an', 'apple', 'for', 'you'],
['this', 'is', 'the', 'an', 'orange', 'for', 'you'],
['this', 'is', 'the', 'an', 'banana', 'for', 'you'],
['apple','is','delicious'],
['apple','is','sad'],
['orange','is','delicious'],
['orange','is','sad'],
['apple','tests','delicious'],
['orange','tests','delicious']]
# 利用語料訓練模型
model = Word2Vec(sentences,window=5, min_count=1)
# 基于2d PCA擬合數據
# X = model[model.wv.vocab]
X = model.wv[model.wv.key_to_index]
pca = PCA(n_components=2)
result = pca.fit_transform(X)
# 可視化展示
pyplot.scatter(result[:, 0], result[:, 1])
words = list(model.wv.key_to_index)
for i, word in enumerate(words):
pyplot.annotate(word, xy=(result[i, 0], result[i, 1]))
pyplot.show()
因為語料庫是隨機給出的，并且數量很少，所以訓練出來的詞向量展示出來的詞和詞之間的相關性不那么強。這里主要是想表明假如我們輸入一系列單詞，通過Word2Vec模型可以得到什么樣的輸出。
實戰(zhàn)演練
通過已經在Google新聞的語料上訓練好的模型來看看Word2Vec得到的詞向量都可以怎么使用。
首先需要下載預訓練Word2Vec向量，這可以從各種各樣的背景領域中進行選擇?；贕oogle新聞語料庫的訓練模型可通過搜索“Google News vectors negative 300”來下載。這個文件大小是1.53GB，包含了30億單詞的300維表示。
和上述在Python中的簡單可視化一樣，需要使用gensim庫。假設剛才下載好的文件保存在電腦的E盤的“wordpretrain”文件夾中。
from gensim.models.keyedvectors import KeyedVectors
word_vectors = KeyedVectors.load_word2vec_format(\
'E:\wordpretrain/GoogleNews-vectors-negative300.bin.gz', \
binary = True, limit = 1000000)如此，便擁有了一個現(xiàn)成的詞向量模型，亦即每個單詞都由一個300維的向量唯一表示。下面我們來看看關于它的一些簡單用法。
1、可以實際查看任意單詞的向量表示：
word_vectors['dog']
但很難解釋這個向量的每一維代表什么意思。
2、可以使用most_similar函數找到意思相近的單詞，topn參數定義要列出的單詞數：
word_vectors.most_similar(positive = ['nice'], topn = 5)
括號中的數字表示相似度的大小。
3、如果我們想合并father和woman這兩個單詞的向量，并減去man這個單詞的向量，可以得到：
word_vectors.most_similar( positive = ['father', 'woman'], negative = ['man'], topn = 1)
其實這件事情很容易想到：假設在兩個維度（親子關系和性別）下，“woman”這個單詞的向量為(0,1)，“man”的向量為(0,-1)，“father”的向量為(1,-1)，“mother”的向量為(1,1)，那么“father”+“woman”-“man”= (1,-1) + (0,1) - (0,-1) = (1,1) =“mother”。當然，區(qū)別在于這里我們有300個維度，但原理上是相同的。
4、可視化：
%matplotlib inline import pandas as pd import matplotlib.pyplot as plt import seaborn as sns from sklearn.decomposition import PCA import adjustText
from jupyterthemes import jtplot jtplot.style(theme='onedork') #選擇一個繪圖主題
def plot_2d_representation_of_words(
word_list,
word_vectors,
flip_x_axis = False,
flip_y_axis = False,
label_x_axis = "x",
label_y_axis = "y",
label_label = "fruit"):
pca = PCA(n_components = 2)
word_plus_coordinates=[]
for word in word_list:
current_row = []
current_row.append(word)
current_row.extend(word_vectors[word])
word_plus_coordinates.append(current_row)
word_plus_coordinates = pd.DataFrame(word_plus_coordinates)
coordinates_2d = pca.fit_transform(
word_plus_coordinates.iloc[:,1:300])
coordinates_2d = pd.DataFrame(
coordinates_2d, columns=[label_x_axis, label_y_axis])
coordinates_2d[label_label] = word_plus_coordinates.iloc[:,0]
if flip_x_axis:
coordinates_2d[label_x_axis] = \
coordinates_2d[label_x_axis] * (-1)
if flip_y_axis:
coordinates_2d[label_y_axis] = \
coordinates_2d[label_y_axis] * (-1)
plt.figure(figsize = (15,10))
p1=sns.scatterplot(
data=coordinates_2d, x=label_x_axis, y=label_y_axis)
x = coordinates_2d[label_x_axis]
y = coordinates_2d[label_y_axis]
label = coordinates_2d[label_label]
texts = [plt.text(x[i], y[i], label[i]) for i in range(len(x))]
adjustText.adjust_text(texts)fruits = ['apple','orange','banana','lemon','car','tram','boat','bicycle',
'cherry','mango','grape','durian','watermelon','train','motorbike','ship',
'peach','pear','pomegranate','strawberry','bike','bus','truck','subway','airplane']plot_2d_representation_of_words(
word_list = fruits,
word_vectors = word_vectors,
flip_y_axis = True)
這里我在水果類的單詞列表中混入了少許交通工具類的單詞。顯然，結果還算不錯，不僅能明顯看到單詞之間的相關性，還能自動聚類。
當然，上述只是Word2Vec模型的簡單操作和應用，其既可以執(zhí)行詞語層面的任務，也可以作為很多模型的輸入，包括但不限于：
· 計算相似度
- 尋找相似詞
- 信息檢索
· 作為SVM/LSTM等模型的輸入
- 中文分詞
- 命名體識別
· 句子表示
- 情感分析
· 文檔表示
- 文檔主題判別
總結
從上述Word2Vec實操和簡單應用來看，我們可以得出其詞向量訓練的核心思想：若兩個單詞出現(xiàn)的語境相似，則它們的向量也相似。
以上為個人經驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
pytorch 中pad函數toch.nn.functional.pad()的用法
今天小編就為大家分享一篇pytorch 中pad函數toch.nn.functional.pad()的用法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-01-01
在jupyter notebook中使用pytorch的方法
這篇文章主要介紹了在jupyter notebook中使用pytorch的方法,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-09-09
這篇文章主要為大家詳細介紹了Python OpenCV處理圖像之濾鏡和圖像運算，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-07-07
這篇文章主要介紹了python操作mysql中文顯示亂碼的解決方法,是Python數據庫程序設計中經常會遇到的問題,非常具有實用價值,需要的朋友可以參考下2014-10-10
在pycharm中執(zhí)行 os.makedirs 提示用戶名或密碼不正確的問題及解決方法
這篇文章主要介紹了在pycharm中執(zhí)行 os.makedirs 提示用戶名或密碼不正確的問題及解決方法,本文給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友參考下吧2024-01-01
這篇文章主要為大家詳細介紹了python實現(xiàn)浪漫的煙花秀，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-01-01
python中利用await關鍵字如何等待Future對象完成詳解
為了簡化并更好地標識異步IO,從Python 3.5開始引入了新的語法async和await,可以讓coroutine的代碼更簡潔易讀。下面這篇文章主要給大家介紹了關于python中利用await關鍵字如何等待Future對象完成的相關資料，需要的朋友可以參考下。2017-09-09
這篇文章主要介紹了Python實現(xiàn)讀取及寫入csv文件的方法,涉及Python針對csv格式文件的讀取、遍歷、寫入等相關操作技巧,需要的朋友可以參考下2018-01-01
Anaconda安裝之后Spyder打不開解決辦法(親測有效!)
這篇文章主要給大家介紹了關于Anaconda安裝之后Spyder打不開解決辦法,文中將解決的過程介紹的非常詳細,親測有效,對同樣遇到這個問題的朋友具有一定的參考學習價值,需要的朋友可以參考下2023-04-04
這篇文章主要為大家詳細介紹了python調用百度語音REST API，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-08-08