最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

簡(jiǎn)述python四種分詞工具,盤點(diǎn)哪個(gè)更好用?

 更新時(shí)間:2021年04月13日 14:18:33   作者:劉志軍  
這篇文章主要介紹了python四種分詞工具的相關(guān)資料,幫助大家更好的理解和學(xué)習(xí)使用python,感興趣的朋友可以了解下

大家好,我是安果!

分詞在自然語言處理中有著常見的場(chǎng)景,比如從一篇文章自動(dòng)提取關(guān)鍵詞就需要用到分詞工具,中文搜索領(lǐng)域同樣離不開分詞

Python 中有很多開源的分詞工具,下面給大家介紹幾款常見的分詞依賴庫

1. jieba 分詞

“結(jié)巴” 分詞,GitHub 最受歡迎的分詞工具,立志做最好的 Python 中文分詞組件,支持多種分詞模式,支持自定義詞典

github star:26k

代碼示例

import jieba

strs=["我來到北京清華大學(xué)","乒乓球拍賣完了","中國科學(xué)技術(shù)大學(xué)"]

for str in strs:
    seg_list = jieba.cut(str,use_paddle=True) # 使用paddle模式
    print("Paddle Mode: " + '/'.join(list(seg_list)))

seg_list = jieba.cut("我來到北京清華大學(xué)", cut_all=True)
print("全模式: " + "/ ".join(seg_list))  # 全模式

seg_list = jieba.cut("我來到北京清華大學(xué)", cut_all=False)
print("精確模式: " + "/ ".join(seg_list))  # 精確模式

seg_list = jieba.cut("他來到了網(wǎng)易杭研大廈")  # 默認(rèn)是精確模式
print("新詞識(shí)別:", ",".join(seg_list))

seg_list = jieba.cut_for_search("小明碩士畢業(yè)于中國科學(xué)院計(jì)算所,后在日本京都大學(xué)深造")  # 搜索引擎模式
print("搜索引擎模式:", ".join(seg_list))

輸出:

【全模式】: 我/ 來到/ 北京/ 清華/ 清華大學(xué)/ 華大/ 大學(xué)

【精確模式】: 我/ 來到/ 北京/ 清華大學(xué)

【新詞識(shí)別】:他, 來到, 了, 網(wǎng)易, 杭研, 大廈    (此處,“杭研”并沒有在詞典中,但是也被Viterbi算法識(shí)別出來了)

【搜索引擎模式】: 小明, 碩士, 畢業(yè), 于, 中國, 科學(xué), 學(xué)院, 科學(xué)院, 中國科學(xué)院, 計(jì)算, 計(jì)算所, 后, 在, 日本, 京都, 大學(xué), 日本京都大學(xué), 深造

項(xiàng)目地址:

https://github.com/fxsjy/jieba

2. pkuseg 分詞

pkuseg 是北大語言計(jì)算與機(jī)器學(xué)習(xí)研究組開源的一款分詞工具

它的特點(diǎn)是支持多領(lǐng)域分詞,目前支持新聞?lì)I(lǐng)域,網(wǎng)絡(luò)領(lǐng)域,醫(yī)藥領(lǐng)域,旅游領(lǐng)域,以及混合領(lǐng)域的分詞預(yù)訓(xùn)練模型,用戶可以自由地選擇不同的模型

相比通用分詞工具,它的分詞準(zhǔn)確率更高 

github star:5.4k

代碼示例

import pkuseg

seg = pkuseg.pkuseg()           # 以默認(rèn)配置加載模型
text = seg.cut('python是一門很棒的語言')  # 進(jìn)行分詞
print(text)

輸出

['python', '是', '一', '門', '很', '棒', '的', '語言']

項(xiàng)目地址:

https://github.com/lancopku/pkuseg-python

3. FoolNLTK 分詞

基于 BiLSTM 模型訓(xùn)練而成,據(jù)說可能是最準(zhǔn)的開源中文分詞,同樣支持用戶自定義詞典

GitHub  star: 1.6k

代碼示例

import fool

text = "一個(gè)傻子在北京"
print(fool.cut(text))
# ['一個(gè)', '傻子', '在', '北京']

項(xiàng)目地址:

https://github.com/rockyzhengwu/FoolNLTK

4. THULAC

THULAC 由清華大學(xué)自然語言處理與社會(huì)人文計(jì)算實(shí)驗(yàn)室研制推出的一套中文詞法分析工具包

具有詞性標(biāo)注功能,能分析出某個(gè)詞是名詞還是動(dòng)詞或者形容詞

github star:1.5k

代碼示例

 import thulac  

 thu1 = thulac.thulac()  #默認(rèn)模式
 text = thu1.cut("我愛北京天安門", text=True)  #進(jìn)行一句話分詞
 print(text) # 我_r 愛_v 北京_ns 天安門_ns
 代碼示例2
 thu1 = thulac.thulac(seg_only=True)  #只進(jìn)行分詞,不進(jìn)行詞性標(biāo)注
 thu1.cut_f("input.txt", "output.txt")  #對(duì)input.txt文件內(nèi)容進(jìn)行分詞,輸出到output.txt

項(xiàng)目地址:

https://github.com/thunlp/THULAC-Python

目前我在用的還是結(jié)巴分詞,配合用戶自定義詞典,解決常見的網(wǎng)絡(luò)詞語

你在用什么分詞工具,歡迎留下你的意見

以上就是簡(jiǎn)述python四種分詞工具,盤點(diǎn)哪個(gè)更好用?的詳細(xì)內(nèi)容,更多關(guān)于python 分詞工具的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • 在Django model中設(shè)置多個(gè)字段聯(lián)合唯一約束的實(shí)例

    在Django model中設(shè)置多個(gè)字段聯(lián)合唯一約束的實(shí)例

    今天小編就為大家分享一篇在Django model中設(shè)置多個(gè)字段聯(lián)合唯一約束的實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
    2019-07-07
  • Python中包管理工具pip安裝及常用命令總結(jié)

    Python中包管理工具pip安裝及常用命令總結(jié)

    這篇文章主要介紹了Python的包管理工具pip的安裝步驟和常用命令,以及如何在Python環(huán)境遷移中安裝依賴,文中通過圖文以及代碼示例介紹的非常詳細(xì),需要的朋友可以參考下
    2024-12-12
  • CodeWhisperer基于python使用經(jīng)驗(yàn)分享

    CodeWhisperer基于python使用經(jīng)驗(yàn)分享

    這篇文章主要為大家介紹了CodeWhisperer基于python使用經(jīng)驗(yàn)分享,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2023-11-11
  • 跟老齊學(xué)Python之大話題小函數(shù)(1)

    跟老齊學(xué)Python之大話題小函數(shù)(1)

    今天本講要講什么呢?今天要介紹幾個(gè)python中的小函數(shù),這幾個(gè)函數(shù)都是從函數(shù)式編程借鑒過來的,它們就是:filter、map、reduce、lambda、yield 有了它們,最大的好處是程序更簡(jiǎn)潔
    2014-10-10
  • Python3實(shí)現(xiàn)的簡(jiǎn)單三級(jí)菜單功能示例

    Python3實(shí)現(xiàn)的簡(jiǎn)單三級(jí)菜單功能示例

    這篇文章主要介紹了Python3實(shí)現(xiàn)的簡(jiǎn)單三級(jí)菜單功能,涉及Python用戶交互以及針對(duì)json格式數(shù)據(jù)的遍歷、讀取、判斷等相關(guān)操作技巧,需要的朋友可以參考下
    2019-03-03
  • Python結(jié)合DeepSeek API實(shí)現(xiàn)PDF轉(zhuǎn)Word的方案

    Python結(jié)合DeepSeek API實(shí)現(xiàn)PDF轉(zhuǎn)Word的方案

    隨著信息化時(shí)代的不斷推進(jìn),PDF和Word文件格式已經(jīng)成為了日常辦公中最常見的文檔格式,在許多工作場(chǎng)景中,我們需要將PDF文件轉(zhuǎn)換成Word格式,本文將介紹如何結(jié)合DeepSeek API與Python,快速實(shí)現(xiàn)一個(gè)PDF轉(zhuǎn)Word的工具,需要的朋友可以參考下
    2025-02-02
  • TensorFlow安裝CPU版本和GPU版本的實(shí)現(xiàn)步驟

    TensorFlow安裝CPU版本和GPU版本的實(shí)現(xiàn)步驟

    本文主要介紹了TensorFlow安裝CPU版本和GPU版本的實(shí)現(xiàn)步驟,文中通過圖文示例介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2025-03-03
  • 如何在python開發(fā)工具PyCharm中搭建QtPy環(huán)境(教程詳解)

    如何在python開發(fā)工具PyCharm中搭建QtPy環(huán)境(教程詳解)

    這篇文章主要介紹了在python開發(fā)工具PyCharm中搭建QtPy環(huán)境,本文通過圖文并茂的形式給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2020-02-02
  • OpenCV每日函數(shù)之BarcodeDetector類條碼檢測(cè)器

    OpenCV每日函數(shù)之BarcodeDetector類條碼檢測(cè)器

    OpenCV在V4.5.3版本的contrib包中提供了一個(gè)barcode::BarcodeDetector類,用于條形碼的識(shí)別,這篇文章主要介紹了OpenCV每日函數(shù)?BarcodeDetector條碼檢測(cè)器,需要的朋友可以參考下
    2022-06-06
  • Python Django Vue 項(xiàng)目創(chuàng)建過程詳解

    Python Django Vue 項(xiàng)目創(chuàng)建過程詳解

    這篇文章主要介紹了Python Django Vue 項(xiàng)目創(chuàng)建過程詳解,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2019-07-07

最新評(píng)論

泉州市| 郎溪县| 朝阳市| 双峰县| 乌鲁木齐县| 凤凰县| 文化| 清丰县| 宁海县| 满洲里市| 五原县| 诏安县| 云梦县| 万荣县| 屯昌县| 班玛县| 铜山县| 广西| 无锡市| 宁夏| 隆尧县| 牟定县| 弥渡县| 将乐县| 吴川市| 高密市| 讷河市| 甘孜| 叶城县| 砚山县| 衡东县| 辉县市| 颍上县| 南木林县| 宾阳县| 襄樊市| 陵川县| 桂平市| 施甸县| 枞阳县| 蒙自县|