pip install jieba

import jieba

# 待分詞的中文文本
text = "結(jié)巴分詞是一款強大的中文分詞工具。"

# 使用 jieba.cut 進行基本分詞，返回一個生成器
seg_result_generator = jieba.cut(text)

# 將生成器轉(zhuǎn)換為列表，并打印分詞結(jié)果
seg_result_list = list(seg_result_generator)
print("分詞結(jié)果：", seg_result_list)

import jieba

# 待分詞的中文文本
text = "結(jié)巴分詞是一款強大的中文分詞工具。"

# 使用 jieba.cut 進行基本分詞，返回一個生成器
seg_result_generator = jieba.cut(text)

# 將生成器轉(zhuǎn)換為列表，并打印分詞結(jié)果
seg_result_list = list(seg_result_generator)
print("jieba.cut 分詞結(jié)果：", seg_result_list)

import jieba

# 待分詞的中文文本
query = "自然語言處理"

# 使用 jieba.cut_for_search 進行搜索引擎分詞
seg_result_generator = jieba.cut_for_search(query)

# 將生成器轉(zhuǎn)換為列表，并打印分詞結(jié)果
seg_result_list = list(seg_result_generator)
print("jieba.cut_for_search 分詞結(jié)果：", seg_result_list)

import jieba

# 待分詞的中文文本
text = "結(jié)巴分詞是一款強大的中文分詞工具。"

# 使用 jieba.lcut 進行基本分詞，并打印結(jié)果
seg_result_list = jieba.lcut(text)
print("jieba.lcut 分詞結(jié)果：", seg_result_list)

import jieba.posseg as pseg

# 待標注詞性的中文文本
text = "結(jié)巴分詞是一款強大的中文分詞工具。"

# 使用 jieba.posseg 進行詞性標注
words = pseg.cut(text)

# 打印詞性標注結(jié)果
for word, pos in words:
    print(f"{word} : {pos}")

import jieba.analyse

# 待提取關(guān)鍵詞的中文文本
text = "結(jié)巴分詞是一款強大的中文分詞工具。"

# 使用 jieba.analyse 提取關(guān)鍵詞
keywords = jieba.analyse.extract_tags(text, topK=5)

# 打印提取的關(guān)鍵詞
print("提取的關(guān)鍵詞：", keywords)

import jieba
# 待分詞的中文文本
text = "結(jié)巴分詞是一款強大的中文分詞工具。"
# 添加自定義詞典
jieba.add_word("結(jié)巴分詞")
# 使用 jieba.cut 進行分詞
seg_result = jieba.cut(text)
# 將生成器轉(zhuǎn)換為列表，并打印分詞結(jié)果
seg_result_list = list(seg_result)
print("添加自定義詞典后的分詞結(jié)果：", seg_result_list)

import jieba

# 待分詞的醫(yī)學(xué)文本
medical_text = "新藥研發(fā)取得重大突破，對治療某種疾病具有顯著效果。"

# 添加醫(yī)學(xué)領(lǐng)域的自定義詞匯
jieba.add_word("新藥研發(fā)")
jieba.add_word("治療某種疾病")

# 使用 jieba.cut 進行分詞
seg_result = jieba.cut(medical_text)

# 將生成器轉(zhuǎn)換為列表，并打印分詞結(jié)果
seg_result_list = list(seg_result)
print("添加醫(yī)學(xué)領(lǐng)域自定義詞典后的分詞結(jié)果：", seg_result_list)

import jieba
# 待分詞的中文文本
text = "結(jié)巴分詞是一款強大的中文分詞工具，可以廣泛應(yīng)用于自然語言處理和文本挖掘領(lǐng)域。"
# 示例停用詞表
stop_words = ["是", "一款", "可以", "和", "領(lǐng)域"]
# 加載停用詞表
jieba.analyse.set_stop_words(stop_words)
# 使用 jieba.cut 進行分詞
seg_result = jieba.cut(text)
# 過濾停用詞后，將生成器轉(zhuǎn)換為列表，并打印分詞結(jié)果
filtered_seg_result_list = [word for word in seg_result if word not in stop_words]
print("過濾停用詞后的分詞結(jié)果：", filtered_seg_result_list)

import jieba
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
# 構(gòu)建情感分析數(shù)據(jù)集
positive_texts = ["這個產(chǎn)品太棒了，我非常喜歡！",
                  "服務(wù)很好，態(tài)度也很熱情。",
                  "真的是太贊了！"]
negative_texts = ["這個產(chǎn)品質(zhì)量很差，不值得購買。",
                  "服務(wù)太差勁了，態(tài)度很惡劣。",
                  "真的很失望。"]
# 分詞處理
positive_seg = [" ".join(jieba.cut(text)) for text in positive_texts]
negative_seg = [" ".join(jieba.cut(text)) for text in negative_texts]
# 構(gòu)建特征表示
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(positive_seg + negative_seg)
# 構(gòu)建標簽
y = [1] * len(positive_texts) + [0] * len(negative_texts)
# 構(gòu)建樸素貝葉斯分類器
clf = MultinomialNB()
clf.fit(X, y)
# 測試情感分析
test_text = "這個產(chǎn)品真的太差了，完全不值得購買。"
test_seg = " ".join(jieba.cut(test_text))
test_X = vectorizer.transform([test_seg])
result = clf.predict(test_X)
# 打印結(jié)果
if result[0] == 1:
    print("情感分析結(jié)果：正面")
else:
    print("情感分析結(jié)果：負面")

import jieba
from wordcloud import WordCloud
import matplotlib.pyplot as plt

# 待處理的中文文本
text = "結(jié)巴分詞是一款強大的中文分詞工具，可以廣泛應(yīng)用于自然語言處理和文本挖掘領(lǐng)域。"

# 使用jieba進行分詞
seg_result = jieba.cut(text)
seg_result_str = " ".join(seg_result)

# 生成詞云
wordcloud = WordCloud(font_path="simsun.ttf", background_color="white").generate(seg_result_str)

# 顯示詞云圖
plt.figure(figsize=(8, 8), facecolor=None)
plt.imshow(wordcloud, interpolation="bilinear")
plt.axis("off")
plt.show()

import jieba
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
# 構(gòu)建情感分析數(shù)據(jù)集
positive_texts = ["這個產(chǎn)品太棒了，我非常喜歡！",
                  "服務(wù)很好，態(tài)度也很熱情。",
                  "真的是太贊了！"]
negative_texts = ["這個產(chǎn)品質(zhì)量很差，不值得購買。",
                  "服務(wù)太差勁了，態(tài)度很惡劣。",
                  "真的很失望。"]
# 分詞處理
positive_seg = [" ".join(jieba.cut(text)) for text in positive_texts]
negative_seg = [" ".join(jieba.cut(text)) for text in negative_texts]
# 構(gòu)建特征表示
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(positive_seg + negative_seg)
# 構(gòu)建標簽
y = [1] * len(positive_texts) + [0] * len(negative_texts)
# 構(gòu)建樸素貝葉斯分類器
clf = MultinomialNB()
clf.fit(X, y)
# 測試情感分析
test_text = "這個產(chǎn)品真的太差了，完全不值得購買。"
test_seg = " ".join(jieba.cut(test_text))
test_X = vectorizer.transform([test_seg])
result = clf.predict(test_X)
# 打印結(jié)果
if result[0] == 1:
    print("情感分析結(jié)果：正面")
else:
    print("情感分析結(jié)果：負面")

import jieba.analyse
# 待提取關(guān)鍵詞的新聞文本
news_text = "近日，一項關(guān)于新冠疫苗的研究成果在國際上引起廣泛關(guān)注。"
# 使用jieba提取關(guān)鍵詞
keywords = jieba.analyse.extract_tags(news_text, topK=5)
# 打印提取的關(guān)鍵詞
print("提取的關(guān)鍵詞：", keywords)

import jieba.analyse
# 用戶評論文本
user_comment = "這個產(chǎn)品很好用，性價比也很高，非常滿意。"
# 使用jieba提取關(guān)鍵詞
keywords = jieba.analyse.extract_tags(user_comment, topK=3)
# 打印提取的關(guān)鍵詞
print("用戶關(guān)鍵詞提取結(jié)果：", keywords)