最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

python使用Word2Vec進(jìn)行情感分析解析

 更新時(shí)間:2020年07月31日 09:54:40   作者:露露核桃露  
這篇文章主要介紹了python使用Word2Vec進(jìn)行情感分析解析,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

python實(shí)現(xiàn)情感分析(Word2Vec)

** 前幾天跟著老師做了幾個(gè)項(xiàng)目,老師寫的時(shí)候劈里啪啦一頓敲,寫了個(gè)啥咱也布吉島,線下自己就瞎琢磨,終于實(shí)現(xiàn)了一個(gè)最簡(jiǎn)單的項(xiàng)目。輸入文本,然后分析情感,判斷出是好感還是反感??醋罱K結(jié)果:↓↓↓↓↓↓

1

在這里插入圖片描述
2
在這里插入圖片描述

大概就是這樣,接下來實(shí)現(xiàn)一下。

實(shí)現(xiàn)步驟

加載數(shù)據(jù),預(yù)處理

數(shù)據(jù)就是正反兩類,保存在neg.xls和pos.xls文件中,

在這里插入圖片描述

數(shù)據(jù)內(nèi)容類似購(gòu)物網(wǎng)站的評(píng)論,分別有一萬多個(gè)好評(píng)和一萬多個(gè)差評(píng),通過對(duì)它們的處理,變成我們用來訓(xùn)練模型的特征和標(biāo)記。

首先導(dǎo)入幾個(gè)python常見的庫(kù),train_test_split用來對(duì)特征向量的劃分,numpy和pands是處理數(shù)據(jù)常見的庫(kù),jieba庫(kù)用來分詞,joblib用來保存訓(xùn)練好的模型,sklearn.svm是機(jī)器學(xué)習(xí)訓(xùn)練模型常用的庫(kù),我覺得核心的就是Word2Vec這個(gè)庫(kù)了,作用就是將自然語(yǔ)言中的字詞轉(zhuǎn)為計(jì)算機(jī)可以理解的稠密向量。

from sklearn.model_selection import train_test_split
import numpy as np
import pandas as pd
import jieba as jb
from sklearn.externals import joblib
from sklearn.svm import SVC
from gensim.models.word2vec import Word2Vec

加載數(shù)據(jù),將數(shù)據(jù)分詞,將正反樣本拼接,然后創(chuàng)建全是0和全是1的向量拼接起來作為標(biāo)簽,

 neg =pd.read_excel("data/neg.xls",header=None,index=None)
 pos =pd.read_excel("data/pos.xls",header=None,index=None)
 # 這是兩類數(shù)據(jù)都是x值
 pos['words'] = pos[0].apply(lambda x:list(jb.cut(x)))
 neg['words'] = neg[0].apply(lambda x:list(jb.cut(x)))
 #需要y值 0 代表neg 1代表是pos
 y = np.concatenate((np.ones(len(pos)),np.zeros(len(neg))))
 X = np.concatenate((pos['words'],neg['words']))

切分訓(xùn)練集和測(cè)試集

利用train_test_split函數(shù)切分訓(xùn)練集和測(cè)試集,test_size表示切分的比例,百分之二十用來測(cè)試,這里的random_state是隨機(jī)種子數(shù),為了保證程序每次運(yùn)行都分割一樣的訓(xùn)練集和測(cè)試集。否則,同樣的算法模型在不同的訓(xùn)練集和測(cè)試集上的效果不一樣。訓(xùn)練集和測(cè)試集的標(biāo)簽無非就是0和1,直接保存,接下來單獨(dú)處理特征向量。

 X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.2,random_state=3)
 #保存數(shù)據(jù)
 np.save("data/y_train.npy",y_train)
 np.save("data/y_test.npy",y_test)

詞向量計(jì)算

網(wǎng)上搜到的專業(yè)解釋是這樣說的:使用一層神經(jīng)網(wǎng)絡(luò)將one-hot(獨(dú)熱編碼)形式的詞向量映射到分布式形式的詞向量。使用了Hierarchical softmax, negative sampling等技巧進(jìn)行訓(xùn)練速度上的優(yōu)化。作用:我們?nèi)粘I钪惺褂玫淖匀徽Z(yǔ)言不能夠直接被計(jì)算機(jī)所理解,當(dāng)我們需要對(duì)這些自然語(yǔ)言進(jìn)行處理時(shí),就需要使用特定的手段對(duì)其進(jìn)行分析或預(yù)處理。使用one-hot編碼形式對(duì)文字進(jìn)行處理可以得到詞向量,但是,由于對(duì)文字進(jìn)行唯一編號(hào)進(jìn)行分析的方式存在數(shù)據(jù)稀疏的問題,Word2Vec能夠解決這一問題,實(shí)現(xiàn)word embedding
專業(yè)解釋的話我還是一臉懵,后來看了一個(gè)栗子,大概是這樣:
word2vec也叫word embeddings,中文名“詞向量”,作用就是將自然語(yǔ)言中的字詞轉(zhuǎn)為計(jì)算機(jī)可以理解的稠密向量(Dense Vector)。在word2vec出現(xiàn)之前,自然語(yǔ)言處理經(jīng)常把字詞轉(zhuǎn)為離散的單獨(dú)的符號(hào),也就是One-Hot Encoder。

在這圖片描述

在語(yǔ)料庫(kù)中,杭州、上海、寧波、北京各對(duì)應(yīng)一個(gè)向量,向量中只有一個(gè)值為1,其余都為0。但是使用One-Hot Encoder有以下問題。一方面,城市編碼是隨機(jī)的,向量之間相互獨(dú)立,看不出城市之間可能存在的關(guān)聯(lián)關(guān)系。其次,向量維度的大小取決于語(yǔ)料庫(kù)中字詞的多少。如果將世界所有城市名稱對(duì)應(yīng)的向量合為一個(gè)矩陣的話,那這個(gè)矩陣過于稀疏,并且會(huì)造成維度災(zāi)難。
使用Vector Representations可以有效解決這個(gè)問題。Word2Vec可以將One-Hot Encoder轉(zhuǎn)化為低維度的連續(xù)值,也就是稠密向量,并且其中意思相近的詞將被映射到向量空間中相近的位置。
如果將embed后的城市向量通過PCA降維后可視化展示出來,那就是這個(gè)樣子。

在這里插入圖片描述

計(jì)算詞向量

#初始化模型和詞表
 wv = Word2Vec(size=300,min_count=10)
 wv.build_vocab(x_train)
 # 訓(xùn)練并建模
 wv.train(x_train,total_examples=1, epochs=1)
 #獲取train_vecs
 train_vecs = np.concatenate([ build_vector(z,300,wv) for z in x_train])
 #保存處理后的詞向量
 np.save('data/train_vecs.npy',train_vecs)
 #保存模型
 wv.save("data/model3.pkl")
 
 wv.train(x_test,total_examples=1, epochs=1)
 test_vecs = np.concatenate([build_vector(z,300,wv) for z in x_test])
 np.save('data/test_vecs.npy',test_vecs)
 

•對(duì)句子中的所有詞向量取均值,來生成一個(gè)句子的vec

def build_vector(text,size,wv):
 #創(chuàng)建一個(gè)指定大小的數(shù)據(jù)空間
 vec = np.zeros(size).reshape((1,size))
 #count是統(tǒng)計(jì)有多少詞向量
 count = 0
 #循環(huán)所有的詞向量進(jìn)行求和
 for w in text:
 try:
 vec += wv[w].reshape((1,size))
 count +=1
 except:
 continue
 
 #循環(huán)完成后求均值
 if count!=0:
 vec/=count
 return vec

訓(xùn)練SVM模型

訓(xùn)練就用SVM,sklearn庫(kù)已經(jīng)封裝了具體的算法,只需要調(diào)用就行了,原理也挺麻煩,老師講課的時(shí)候我基本都在睡覺,這兒就不裝嗶了。(想裝裝不出來。。😭)

 #創(chuàng)建SVC模型
 cls = SVC(kernel="rbf",verbose=True)
 #訓(xùn)練模型
 cls.fit(train_vecs,y_train)
 #保存模型
 joblib.dump(cls,"data/svcmodel.pkl")
 #輸出評(píng)分
 print(cls.score(test_vecs,y_test))

預(yù)測(cè)

訓(xùn)練完后也得到了訓(xùn)練好的模型,基本這個(gè)項(xiàng)目已經(jīng)完成了,然后為了使看起來好看,加了個(gè)圖形用戶界面,看起來有點(diǎn)逼格,

from tkinter import *
import numpy as np
import jieba as jb
import joblib
from gensim.models.word2vec import Word2Vec

class core():
 def __init__(self,str):
 self.string=str

 def build_vector(self,text,size,wv):
 #創(chuàng)建一個(gè)指定大小的數(shù)據(jù)空間
 vec = np.zeros(size).reshape((1,size))
 #count是統(tǒng)計(jì)有多少詞向量
 count = 0
 #循環(huán)所有的詞向量進(jìn)行求和
 for w in text:
 try:
 vec += wv[w].reshape((1,size))
 count +=1
 except:
 continue
 #循環(huán)完成后求均值
 if count!=0:
 vec/=count
 return vec
 def get_predict_vecs(self,words):
 # 加載模型
 wv = Word2Vec.load("data/model3.pkl")
 #將新的詞轉(zhuǎn)換為向量
 train_vecs = self.build_vector(words,300,wv)
 return train_vecs
 def svm_predict(self,string):
 # 對(duì)語(yǔ)句進(jìn)行分詞
 words = jb.cut(string)
 # 將分詞結(jié)果轉(zhuǎn)換為詞向量
 word_vecs = self.get_predict_vecs(words)
 #加載模型
 cls = joblib.load("data/svcmodel.pkl")
 #預(yù)測(cè)得到結(jié)果
 result = cls.predict(word_vecs)
 #輸出結(jié)果
 if result[0]==1:
 return "好感"
 else:
 return "反感"
 def main(self):
 s=self.svm_predict(self.string)
 return s

root=Tk()
root.title("情感分析")
sw = root.winfo_screenwidth()
#得到屏幕寬度
sh = root.winfo_screenheight()
#得到屏幕高度
ww = 500
wh = 300
x = (sw-ww) / 2
y = (sh-wh) / 2-50
root.geometry("%dx%d+%d+%d" %(ww,wh,x,y))
# root.iconbitmap('tb.ico')

lb2=Label(root,text="輸入內(nèi)容,按回車鍵分析")
lb2.place(relx=0, rely=0.05)

txt = Text(root,font=("宋體",20))
txt.place(rely=0.7, relheight=0.3,relwidth=1)

inp1 = Text(root, height=15, width=65,font=("宋體",18))
inp1.place(relx=0, rely=0.2, relwidth=1, relheight=0.4)

def run1():
 txt.delete("0.0",END)
 a = inp1.get('0.0',(END))
 p=core(a)
 s=p.main()
 print(s)
 txt.insert(END, s) # 追加顯示運(yùn)算結(jié)果

def button1(event):
 btn1 = Button(root, text='分析', font=("",12),command=run1) #鼠標(biāo)響應(yīng)
 btn1.place(relx=0.35, rely=0.6, relwidth=0.15, relheight=0.1)
 # inp1.bind("<Return>",run2) #鍵盤響應(yīng)

button1(1)
root.mainloop()




運(yùn)行一下:

在這里插入圖片描述
在這里插入圖片描述

項(xiàng)目已經(jīng)完成了,簡(jiǎn)單的實(shí)現(xiàn)了一下情感分析,不過泛化能力一般般,輸入的文本風(fēng)格類似與網(wǎng)上購(gòu)物的評(píng)論那樣才看起來有點(diǎn)準(zhǔn)確,比如喜歡,討厭,好,不好,質(zhì)量,態(tài)度這些網(wǎng)店評(píng)論經(jīng)常出現(xiàn)的詞匯分析起來會(huì)很準(zhǔn),但是例如溫柔,善良,平易近人這些詞匯分析的就會(huì)很差。優(yōu)化的話我感覺可以訓(xùn)練各種風(fēng)格的樣本,或集成學(xué)習(xí)多個(gè)學(xué)習(xí)器進(jìn)行分類,方法很多,但是實(shí)現(xiàn)起來又是一個(gè)大工程,像我這最后一排的學(xué)生,還是去打游戲去咯。

項(xiàng)目中的訓(xùn)練樣本,訓(xùn)練好的模型以及完整項(xiàng)目代碼
↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓

http://xiazai.jb51.net/202007/yuanma/data_jb51.rar

到此這篇關(guān)于python使用Word2Vec進(jìn)行情感分析解析的文章就介紹到這了,更多相關(guān)python  Word2Vec  情感分析 內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

最新評(píng)論

盐城市| 宜都市| 合肥市| 景德镇市| 江口县| 文安县| 洪江市| 荃湾区| 乌兰察布市| 乌拉特后旗| 宝丰县| 浦县| 屯昌县| 固始县| 三明市| 大悟县| 即墨市| 利辛县| 宿州市| 德清县| 濉溪县| 金昌市| 大姚县| 保山市| 揭东县| 天镇县| 勐海县| 兴安盟| 云安县| 光泽县| 道真| 科尔| 清远市| 罗城| 蒙山县| 清苑县| 渑池县| 延长县| 临邑县| 盐津县| 西乌|