# 安裝NLTK庫（最新穩(wěn)定版） 
pip install nltk -i https://pypi.tuna.tsinghua.edu.cn/simple 
# 安裝Gensim庫（最新穩(wěn)定版） 
pip install gensim -i https://pypi.tuna.tsinghua.edu.cn/simple 

# 驗證NLTK安裝
import nltk print("NLTK版本：", nltk.__version__) 
# 下載NLTK基礎(chǔ)語料庫（首次使用需執(zhí)行，約幾百MB） 
nltk.download('punkt') 
# 基礎(chǔ)分詞語料庫
nltk.download('averaged_perceptron_tagger') 
# 詞性標(biāo)注語料庫
# 驗證Gensim安裝 
import gensim print("Gensim版本：", gensim.__version__) 

import nltk from nltk.tokenize 
import word_tokenize, sent_tokenize
# 1. 句子分割（將文本分割為多個句子） 
text = "Natural language processing is a subfield of artificial intelligence.
It focuses on the interaction between computers and humans using natural language." 
sentences = sent_tokenize(text) print("句子分割結(jié)果：", sentences) 
# 2. 單詞分詞（將句子分割為單詞） 
words = word_tokenize(text.lower())
# lower()：統(tǒng)一轉(zhuǎn)為小寫，避免大小寫差異 
print("單詞分詞結(jié)果：", words) 
# 3. 去除標(biāo)點符號（過濾非字母數(shù)字字符）
import string words_clean = [word for word in words if word not in string.punctuation] 
print("去除標(biāo)點后的結(jié)果：", words_clean) 

# 下載停用詞表（首次使用需執(zhí)行）
nltk.download('stopwords') 
from nltk.corpus import stopwords
# 獲取英文停用詞表 
stop_words = set(stopwords.words('english')) 
# 去除停用詞
words_filtered = [word for word in words_clean if word not in stop_words] 
print("去除停用詞后的結(jié)果：", words_filtered) 

# 詞性標(biāo)注（輸入為去除停用詞后的單詞列表） 
pos_tags = nltk.pos_tag(words_filtered) 
print("詞性標(biāo)注結(jié)果：", pos_tags) 
# 標(biāo)注說明：NN（名詞）、VB（動詞）、JJ（形容詞）、RB（副詞）等

# 下載VADER情感分析工具（首次使用需執(zhí)行） 
nltk.download('vader_lexicon') 
from nltk.sentiment
import SentimentIntensityAnalyzer 
# 初始化情感分析器 sia = SentimentIntensityAnalyzer() 
# 情感分析（返回neg負(fù)面、neu中性、pos正面、compound綜合得分） 
text1 = "This product is amazing, 
it works perfectly and exceeds my expectations!" text2 = "I am very disappointed with this product, 
it is broken after only one use." score1 = sia.polarity_scores(text1) 
score2 = sia.polarity_scores(text2) 
print("文本1情感得分：", score1) print("文本2情感得分：", score2)
# 判定規(guī)則：compound > 0.05為正面，< -0.05為負(fù)面，否則為中性 

from gensim import corpora, models 
# 示例：3個預(yù)處理后的文本（分詞、去停用詞后的單詞列表）
texts = [ ['natural', 'language', 
'processing', 'artificial', 'intelligence'], ['natural', 'language', 
'focuses', 'interaction', 'computers', 'humans'], ['artificial', 'intelligence', 
'computers', 'technology', 'future'] ] 
# 1. 構(gòu)建詞匯表（Dictionary）：映射每個單詞到唯一的ID dictionary = corpora.Dictionary(texts) 
print("詞匯表：", dictionary.token2id) # 單詞→ID映射 
# 2. 構(gòu)建語料庫（Corpus）：將每個文本轉(zhuǎn)換為詞袋向量（ID: 詞頻） 
corpus = [dictionary.doc2bow(text) for text in texts] 
print("詞袋模型語料庫：", corpus) 

from gensim.models 
import Word2Vec 
# 示例：基于多個句子（預(yù)處理后的單詞列表）
訓(xùn)練詞向量 sentences = [ ['natural',
'language', 'processing', 'is', 'interesting'], ['word2vec', 'can', 'learn', 'semantic', 'similarity'], ['natural', 'language', 'is', 'a', 'subfield', 'of', 'ai'], 
['ai', 'includes', 'machine', 'learning', 'and', 'nlp'] ] 
# 訓(xùn)練Word2Vec模型 model = Word2Vec( sentences=sentences, 
# 輸入文本（單詞列表的列表） vector_size=100, 
# 詞向量維度（常用100-300） window=5, # 上下文窗口大小 min_count=1, 
# 最小詞頻（忽略出現(xiàn)次數(shù)少于1的單詞） workers=4 # 訓(xùn)練線程數(shù) ) 
# 保存模型（后續(xù)可直接加載使用） model.save("word2vec_model.model") 
# 加載模型 model = Word2Vec.load("word2vec_model.model") 
# 核心功能1：獲取單詞的詞向量 vector = model.wv['natural'] print("natural的詞向量（前10維）：", vector[:10]) 
# 核心功能2：查找語義相似的單詞 similar_words = model.wv.most_similar('natural', topn=3) print("與natural語義相似的單詞：", similar_words) 
# 核心功能3：計算兩個單詞的語義相似度 similarity = model.wv.similarity('natural', 'language') print("natural與language的語義相似度：", similarity) 

# 基于前面構(gòu)建的詞袋模型語料庫和詞匯表，訓(xùn)練LDA模型 lda_model = models.LdaModel( corpus=corpus, 
# 詞袋模型語料庫 id2word=dictionary, 
# 詞匯表（ID→單詞映射） num_topics=2, 
# 預(yù)設(shè)主題數(shù)量（根據(jù)實際場景調(diào)整） random_state=100, 
# 隨機(jī)種子，保證結(jié)果可復(fù)現(xiàn) update_every=1, 
# 每迭代1次更新模型 chunksize=100, 
# 每次批量處理的文本數(shù)量 passes=10, 
# 訓(xùn)練輪數(shù) alpha='auto', # alpha參數(shù)（自動調(diào)整） per_word_topics=True
# 輸出每個單詞在各主題中的概率 ) 
# 1. 查看每個主題的核心單詞（前5個）
for topic_id in range(lda_model.num_topics): print(f"主題{topic_id+1}的核心單詞：", lda_model.print_topic(topic_id, topn=5)) 
# 2. 推斷單個文本的主題分布（輸入為詞袋向量） new_text = ['natural', 'language', 'computers'] new_text_bow = dictionary.doc2bow(new_text) topic_distribution = lda_model.get_document_topics(new_text_bow)
print("新文本的主題分布：", topic_distribution) # (主題ID, 主題概率)