Python中jieba庫(kù)的使用方法

更新時(shí)間：2021年06月16日 10:47:35 作者：留蘭香丶

jieba庫(kù)是一款優(yōu)秀的 Python 第三方中文分詞庫(kù)，本文主要介紹了Python中jieba庫(kù)的使用方法，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下

一、jieba庫(kù)的安裝

因?yàn)?jieba 是一個(gè)第三方庫(kù)，所有需要我們?cè)诒镜剡M(jìn)行安裝。

Windows 下使用命令安裝：在聯(lián)網(wǎng)狀態(tài)下，在命令行下輸入 pip install jieba 進(jìn)行安裝，安裝完成后會(huì)提示安裝成功

這里寫(xiě)圖片描述

在 pyCharm 中安裝：打開(kāi) settings，搜索 Project Interpreter，在右邊的窗口選擇 + 號(hào)，點(diǎn)擊后在搜索框搜索 jieba，點(diǎn)擊安裝即可

二、jieba三種模式的使用

# -*- coding: utf-8 -*-
import jieba

seg_str = "好好學(xué)習(xí)，天天向上。"

print("/".join(jieba.lcut(seg_str)))    # 精簡(jiǎn)模式，返回一個(gè)列表類型的結(jié)果
print("/".join(jieba.lcut(seg_str, cut_all=True)))      # 全模式，使用 'cut_all=True' 指定 
print("/".join(jieba.lcut_for_search(seg_str)))     # 搜索引擎模式

分詞效果：

這里寫(xiě)圖片描述

三、jieba 分詞簡(jiǎn)單應(yīng)用

需求：使用 jieba 分詞對(duì)一個(gè)文本進(jìn)行分詞，統(tǒng)計(jì)次數(shù)出現(xiàn)最多的詞語(yǔ)，這里以三國(guó)演義為例

# -*- coding: utf-8 -*-
import jieba

txt = open("三國(guó)演義.txt", "r", encoding='utf-8').read()
words = jieba.lcut(txt)     # 使用精確模式對(duì)文本進(jìn)行分詞
counts = {}     # 通過(guò)鍵值對(duì)的形式存儲(chǔ)詞語(yǔ)及其出現(xiàn)的次數(shù)

for word in words:
    if len(word) == 1:    # 單個(gè)詞語(yǔ)不計(jì)算在內(nèi)
        continue
    else:
        counts[word] = counts.get(word, 0) + 1    # 遍歷所有詞語(yǔ)，每出現(xiàn)一次其對(duì)應(yīng)的值加 1

items = list(counts.items())
items.sort(key=lambda x: x[1], reverse=True)    # 根據(jù)詞語(yǔ)出現(xiàn)的次數(shù)進(jìn)行從大到小排序

for i in range(3):
    word, count = items[i]
    print("{0:<5}{1:>5}".format(word, count))

統(tǒng)計(jì)結(jié)果：

這里寫(xiě)圖片描述

你可以隨便找一個(gè)文本文檔，也可以到 https://github.com/coderjas/python-quick 下載上面例子中的文檔。

四、擴(kuò)展：英文單詞統(tǒng)計(jì)

上面的例子統(tǒng)計(jì)實(shí)現(xiàn)了中文文檔中出現(xiàn)最多的詞語(yǔ)，接著我們就來(lái)統(tǒng)計(jì)一下一個(gè)英文文檔中出現(xiàn)次數(shù)最多的單詞。原理同上

# -*- coding: utf-8 -*-

def get_text():
    txt = open("1.txt", "r", encoding='UTF-8').read()
    txt = txt.lower()
    for ch in '!"#$%&()*+,-./:;<=>?@[\\]^_‘{|}~':
        txt = txt.replace(ch, " ")      # 將文本中特殊字符替換為空格
    return txt

file_txt = get_text()
words = file_txt.split()    # 對(duì)字符串進(jìn)行分割，獲得單詞列表
counts = {}

for word in words:
    if len(word) == 1:
        continue
    else:
        counts[word] = counts.get(word, 0) + 1 

items = list(counts.items())    
items.sort(key=lambda x: x[1], reverse=True)      

for i in range(5):
    word, count = items[i]
    print("{0:<5}->{1:>5}".format(word, count))

統(tǒng)計(jì)結(jié)果：

這里寫(xiě)圖片描述