快捷導(dǎo)航

Python中文分詞工具之結(jié)巴分詞用法實(shí)例總結(jié)【經(jīng)典案例】

更新時(shí)間：2017年04月15日 10:27:00 作者：捂汗縣長

這篇文章主要介紹了Python中文分詞工具之結(jié)巴分詞用法,結(jié)合實(shí)例形式總結(jié)分析了Python針對中文文件的讀取與分詞操作過程中遇到的問題與解決方法,需要的朋友可以參考下

本文實(shí)例講述了Python中文分詞工具之結(jié)巴分詞用法。分享給大家供大家參考，具體如下：

結(jié)巴分詞工具的安裝及基本用法，前面的文章《Python結(jié)巴中文分詞工具使用過程中遇到的問題及解決方法》中已經(jīng)有所描述。這里要說的內(nèi)容與實(shí)際應(yīng)用更貼近——從文本中讀取中文信息，利用結(jié)巴分詞工具進(jìn)行分詞及詞性標(biāo)注。

示例代碼如下：

#coding=utf-8
import jieba
import jieba.posseg as pseg
import time
t1=time.time()
f=open("t_with_splitter.txt","r") #讀取文本
string=f.read().decode("utf-8")
words = pseg.cut(string) #進(jìn)行分詞
result="" #記錄最終結(jié)果的變量
for w in words:
   result+= str(w.word)+"/"+str(w.flag) #加詞性標(biāo)注
f=open("t_with_POS_tag.txt","w") #將結(jié)果保存到另一個(gè)文檔中
f.write(result)
f.close()
t2=time.time()
print("分詞及詞性標(biāo)注完成，耗時(shí)："+str(t2-t1)+"秒。") #反饋結(jié)果

其中t_with_splitter.txt文件內(nèi)容如下：

腳本之家是國內(nèi)專業(yè)的網(wǎng)站建設(shè)資源、腳本編程學(xué)習(xí)類網(wǎng)站，提供asp、php、asp.net、javascript、jquery、vbscript、dos批處理、網(wǎng)頁制作、網(wǎng)絡(luò)編程、網(wǎng)站建設(shè)等編程資料。

Python2.7.9平臺(tái)運(yùn)行后出現(xiàn)如下圖所示的錯(cuò)誤提示：

查閱相關(guān)資料后發(fā)現(xiàn)，需要在開頭加上：

import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )

最終代碼應(yīng)為：

#coding=utf-8
import jieba
import jieba.posseg as pseg
import time
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )
t1=time.time()
f=open("t_with_splitter.txt","r") #讀取文本
string=f.read().decode("utf-8")
words = pseg.cut(string) #進(jìn)行分詞
result="" #記錄最終結(jié)果的變量
for w in words:
   result+= str(w.word)+"/"+str(w.flag) #加詞性標(biāo)注
f=open("t_with_POS_tag.txt","w") #將結(jié)果保存到另一個(gè)文檔中
f.write(result)
f.close()
t2=time.time()
print("分詞及詞性標(biāo)注完成，耗時(shí)："+str(t2-t1)+"秒。") #反饋結(jié)果

運(yùn)行成功：

Editplus打開t_with_POS_tag.txt文件如下圖所示：

更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題：《Python字典操作技巧匯總》、《Python字符串操作技巧匯總》、《Python常用遍歷技巧總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》及《Python入門與進(jìn)階經(jīng)典教程》

希望本文所述對大家Python程序設(shè)計(jì)有所幫助。

您可能感興趣的文章:

相關(guān)文章

python文件及目錄操作代碼匯總
這篇文章主要介紹了python文件及目錄操作代碼匯總,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-07-07
Python淺析生成器generator的使用
生成器generator在循環(huán)過程中，按照某種算法推算數(shù)據(jù)，不必創(chuàng)建容器存儲(chǔ)完整的結(jié)果，從而節(jié)省內(nèi)存空間。數(shù)據(jù)量越大，優(yōu)勢越明顯。以上作用也稱之為延遲操作或惰性操作，通俗的講就是在需要的時(shí)候才計(jì)算結(jié)果，而不是一次構(gòu)建出所有結(jié)果
2022-07-07
python獲取http請求響應(yīng)頭headers中的數(shù)據(jù)的示例
這篇文章主要介紹了python獲取http請求響應(yīng)頭headers中的數(shù)據(jù)，本文通過示例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
2022-02-02
Python3之外部文件調(diào)用Django程序操作model等文件實(shí)現(xiàn)方式
這篇文章主要介紹了Python3之外部文件調(diào)用Django程序操作model等文件實(shí)現(xiàn)方式，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-04-04
pycharm中:OSError:[WinError?1455]頁面文件太小無法完成操作問題的多種解決方法
這篇文章主要給大家介紹了關(guān)于pycharm中:OSError:[WinError?1455]頁面文件太小無法完成操作問題的多種徹底解決方法,文中通過圖文介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2023-02-02
使用npy轉(zhuǎn)image圖像并保存的實(shí)例
這篇文章主要介紹了使用npy轉(zhuǎn)image圖像并保存的實(shí)例，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-07-07
Python使用日志模塊快速調(diào)試代碼并記錄異常信息
本文詳細(xì)介紹了Python logging日志模塊的使用方法，包括如何在代碼中使用logging記錄調(diào)試信息、如何設(shè)置日志級(jí)別、如何記錄異常信息等。通過本文的指南，讀者可以快速學(xué)會(huì)如何使用logging模塊進(jìn)行調(diào)試，并保留有用的日志信息，便于后續(xù)排查問題和優(yōu)化代碼
2023-04-04
python誤差棒圖errorbar()函數(shù)實(shí)例解析
這篇文章主要介紹了python誤差棒圖errorbar()函數(shù)實(shí)例解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-02-02
一文詳解Python中Reduce函數(shù)輕松解決復(fù)雜數(shù)據(jù)聚合
這篇文章主要為大家介紹了Python中Reduce函數(shù)輕松解決復(fù)雜數(shù)據(jù)聚合示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
2023-08-08
定位python內(nèi)存泄漏問題及解決
這篇文章主要介紹了定位python內(nèi)存泄漏問題及解決方案,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
2023-11-11