Python機(jī)器學(xué)習(xí)NLP自然語(yǔ)言處理基本操作詞袋模型
概述
從今天開(kāi)始我們將開(kāi)啟一段自然語(yǔ)言處理 (NLP) 的旅程. 自然語(yǔ)言處理可以讓來(lái)處理, 理解, 以及運(yùn)用人類(lèi)的語(yǔ)言, 實(shí)現(xiàn)機(jī)器語(yǔ)言和人類(lèi)語(yǔ)言之間的溝通橋梁.
詞袋模型
詞袋模型 (Bag of Words Model) 能幫助我們把一個(gè)句子轉(zhuǎn)換為向量表示. 詞袋模型把文本看作是無(wú)序的詞匯集合, 把每一單詞都進(jìn)行統(tǒng)計(jì).
向量化
詞袋模型首先會(huì)進(jìn)行分詞, 在分詞之后. 通過(guò)通過(guò)統(tǒng)計(jì)在每個(gè)詞在文本中出現(xiàn)的次數(shù). 我們就可以得到該文本基于詞語(yǔ)的特征, 如果將各個(gè)文本樣本的這些詞與對(duì)應(yīng)的詞頻放在一起, 就是我們常說(shuō)的向量化.
例子:
import jieba
from gensim import corpora
# 定義標(biāo)點(diǎn)符號(hào)
punctuation = ["，", "。", "：", "；", "?", "!"]
# 定義語(yǔ)料
content = [
"今天天氣真不錯(cuò)!",
"明天要下雨?",
"后天要打雷。"
]
# 分詞
seg = [jieba.lcut(con) for con in content]
print("語(yǔ)料:", seg)
# 去除標(biāo)點(diǎn)符號(hào)
tokenized = seg.copy()
for s in tokenized:
for p in punctuation:
if p in s:
s.remove(p)
print("去除標(biāo)點(diǎn):", tokenized)
# tokenized是去標(biāo)點(diǎn)之后的
dictionary = corpora.Dictionary(seg)
print("詞袋模型:", dictionary)
# 保存詞典
dictionary.save('deerwester.dict')
# 查看字典和下標(biāo)id的映射
print("編號(hào):", dictionary.token2id)
輸出結(jié)果:
Building prefix dict from the default dictionary ...
Loading model from cache C:\Users\Windows\AppData\Local\Temp\jieba.cache
Loading model cost 1.140 seconds.
Prefix dict has been built successfully.
語(yǔ)料: [['今天天氣', '真不錯(cuò)', '!'], ['明天', '要', '下雨', '?'], ['后天', '要', '打雷', '。']]
去除標(biāo)點(diǎn): [['今天天氣', '真不錯(cuò)'], ['明天', '要', '下雨'], ['后天', '要', '打雷']]
詞袋模型: Dictionary(7 unique tokens: ['今天天氣', '真不錯(cuò)', '下雨', '明天', '要']...)
編號(hào): {'今天天氣': 0, '真不錯(cuò)': 1, '下雨': 2, '明天': 3, '要': 4, '后天': 5, '打雷': 6}
以上就是Python機(jī)器學(xué)習(xí)NLP自然語(yǔ)言處理基本操作詞袋模型的詳細(xì)內(nèi)容，更多關(guān)于Python機(jī)器學(xué)習(xí)NLP自然語(yǔ)言處理的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
- Python結(jié)合spaCy?進(jìn)行簡(jiǎn)易自然語(yǔ)言處理
- Python機(jī)器學(xué)習(xí)NLP自然語(yǔ)言處理基本操作電影影評(píng)分析
- Python機(jī)器學(xué)習(xí)NLP自然語(yǔ)言處理基本操作家暴歸類(lèi)
- Python機(jī)器學(xué)習(xí)NLP自然語(yǔ)言處理基本操作詞向量模型
- Python機(jī)器學(xué)習(xí)NLP自然語(yǔ)言處理基本操作關(guān)鍵詞
- Python機(jī)器學(xué)習(xí)NLP自然語(yǔ)言處理Word2vec電影影評(píng)建模
- Python機(jī)器學(xué)習(xí)NLP自然語(yǔ)言處理基本操作新聞分類(lèi)
- Python自然語(yǔ)言處理使用spaCy庫(kù)進(jìn)行文本預(yù)處理
相關(guān)文章
這篇文章主要介紹了python sorted方法和列表使用解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-11-11
使用Python將Mysql的查詢(xún)數(shù)據(jù)導(dǎo)出到文件的方法
今天小編就為大家分享一篇關(guān)于使用Python將Mysql的查詢(xún)數(shù)據(jù)導(dǎo)出到文件的方法，小編覺(jué)得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來(lái)看看吧2019-02-02
這篇文章主要為大家詳細(xì)介紹了python最長(zhǎng)回文串算法的實(shí)踐，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-06-06
這篇文章主要介紹了Python 轉(zhuǎn)換RGB顏色值的示例代碼，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-10-10
Django細(xì)致講解多對(duì)多使用through自定義中間表方法
我們?cè)陂_(kāi)發(fā)網(wǎng)站的時(shí)候，無(wú)可避免的需要設(shè)計(jì)實(shí)現(xiàn)網(wǎng)站的用戶(hù)系統(tǒng),我們需要實(shí)現(xiàn)包括用戶(hù)注冊(cè)、用戶(hù)登錄、用戶(hù)認(rèn)證、注銷(xiāo)等功能，Django作為完美主義終極框架，它默認(rèn)使用auth_user表來(lái)存儲(chǔ)用戶(hù)數(shù)據(jù)，下面我們來(lái)看看Django多對(duì)多使用through自定義中間表2022-06-06
pytorch 實(shí)現(xiàn)查看網(wǎng)絡(luò)中的參數(shù)
今天小編就為大家分享一篇pytorch 實(shí)現(xiàn)查看網(wǎng)絡(luò)中的參數(shù)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-01-01
python實(shí)現(xiàn)將Excel文件轉(zhuǎn)換為JSON文件
在數(shù)據(jù)處理和分析中,Excel和JSON是兩種常見(jiàn)的數(shù)據(jù)格式,本文將詳細(xì)介紹如何使用Python將Excel文件轉(zhuǎn)換為JSON文件,我們將使用pandas庫(kù),這是一個(gè)強(qiáng)大的數(shù)據(jù)分析工具,能夠方便地讀取和處理各種數(shù)據(jù)格式,需要的朋友可以參考下2024-07-07
python機(jī)器學(xué)習(xí)理論與實(shí)戰(zhàn)（一）K近鄰法
這篇文章主要為大家詳細(xì)介紹了python機(jī)器學(xué)習(xí)理論與實(shí)戰(zhàn)第一篇，K近鄰法的相關(guān)資料，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-01-01
opencv實(shí)現(xiàn)圖像旋轉(zhuǎn)效果
這篇文章主要為大家詳細(xì)介紹了opencv實(shí)現(xiàn)圖像旋轉(zhuǎn)效果，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-03-03
在Python中打印99乘法表的方法有很多種,比如for-for、while-while、while-for等,這篇文章主要給大家介紹了關(guān)于Python打印九九乘法表的5種方式,文中通過(guò)代碼介紹的非常詳細(xì),需要的朋友可以參考下2024-04-04