python使用jieba實(shí)現(xiàn)中文分詞去停用詞方法示例
前言
jieba 基于Python的中文分詞工具，安裝使用非常方便，直接pip即可，2/3都可以，功能強(qiáng)悍，十分推薦。
中文分詞(Chinese Word Segmentation) 指的是將一個(gè)漢字序列切分成一個(gè)一個(gè)單獨(dú)的詞。
分詞模塊jieba，它是python比較好用的分詞模塊。待分詞的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意：不建議直接輸入 GBK 字符串，可能無法預(yù)料地錯(cuò)誤解碼成 UTF-8
支持三種分詞模式
1 精確模式，試圖將句子最精確地切開，適合文本分析；
2 全模式，把句子中所有的可以成詞的詞語都掃描出來, 速度非?？?，但是不能解決歧義；
3 搜索引擎模式，在精確模式的基礎(chǔ)上，對長詞再次切分，提高召回率，適合用于搜索引擎分詞。
# 精確模式 seg_list = jieba.cut("我去過清華大學(xué)和北京大學(xué)。")
# 全模式 seg_list = jieba.cut("我去過清華大學(xué)和北京大學(xué)。", cut_all=True)
# 搜索引擎模式 seg_list = jieba.cut_for_search("我去過清華大學(xué)和北京大學(xué)。")
#精確模式: 我/ 去過/ 清華大學(xué)/ 和/ 北京大學(xué)/ 。
#全模式: 我/ 去過/ 清華/ 清華大學(xué)/ 華大/ 大學(xué)/ 和/ 北京/ 北京大學(xué)/ 大學(xué)/ /
#搜索引擎模式: 我/ 去過/ 清華/ 華大/ 大學(xué)/ 清華大學(xué)/ 和/ 北京/ 大學(xué)/ 北京大學(xué)/
#coding=utf-8
import jieba. analyse
stopwords=[]
for word in open('stopwords.txt','r'):
stopwords.append(word.strip())
article=open('1.txt','r').read()
words=jieba.cut(article,cut_all=False)
stayed_line=""
for word in words:
if word.encode("utf-8")not in stopwords:
stayed_line+=word+" "
print stayed_line
w=open('2.txt','w')
w.write(stayed_line.encode('utf-8'))
總結(jié)
以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，如果有疑問大家可以留言交流，謝謝大家對腳本之家的支持。
相關(guān)文章
Python利用Beautiful Soup模塊創(chuàng)建對象詳解
這篇文章主要介紹了Python利用Beautiful Soup模塊創(chuàng)建對象的相關(guān)資料，文中介紹的非常詳細(xì)，相信對大家具有一定的參考價(jià)值，需要的朋友們下面來一起看看吧。2017-03-03
字符串是一種數(shù)據(jù)類型，但是，字符串比較特殊的是還有一個(gè)編碼問題。下面這篇文章主要給大家介紹了關(guān)于Python3如何解決字符編碼問題的相關(guān)資料，文中介紹的還是相對比較詳細(xì)的，需要的朋友可以參考借鑒，下面來一起看看吧。2017-04-04
今天小編就為大家分享一篇pandas計(jì)算最大連續(xù)間隔的方法，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-07-07
利用Python pandas對Excel進(jìn)行合并的方法示例
這篇文章主要給大家介紹了關(guān)于利用Python pandas對Excel進(jìn)行合并的方法示例，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-11-11
pytorch 搭建神經(jīng)網(wǎng)路的實(shí)現(xiàn)
這篇文章主要介紹了pytorch 搭建神經(jīng)網(wǎng)路，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-08-08
這篇文章主要為大家介紹了python基礎(chǔ)中的文件對象，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2022-01-01
python中if的基礎(chǔ)用法(if?else和if?not)
if在Python中用作某個(gè)條件或值的判斷,下面這篇文章主要給大家介紹了關(guān)于python中if的基礎(chǔ)用法,主要包括if?else和if?not,文中通過圖文介紹的非常詳細(xì),需要的朋友可以參考下2022-09-09
詳解Python中的魔法函數(shù)與量子計(jì)算模擬
這篇文章主要介紹了python的魔法函數(shù)和量子計(jì)算模擬，我們可以通過一個(gè)實(shí)際的案例來先審視一下這兩個(gè)需求是如何被結(jié)合起來的，希望對大家有所幫助2023-03-03
python3.x+pyqt5實(shí)現(xiàn)主窗口狀態(tài)欄里（嵌入）顯示進(jìn)度條功能
這篇文章主要介紹了python3.x+pyqt5實(shí)現(xiàn)主窗口狀態(tài)欄里（嵌入）顯示進(jìn)度條功能，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-07-07
這篇文章主要介紹了Python 繪圖和可視化詳細(xì)介紹的相關(guān)資料,需要的朋友可以參考下2017-02-02