基于Python和TFIDF實現(xiàn)提取文本中的關鍵詞
前言
關鍵詞提取是從簡明概括長文本內容的文檔中，自動提取一組代表性短語。關鍵詞是一個簡短的短語（通常是一到三個單詞），高度概括了文檔的關鍵思想并反映一個文檔的內容，清晰反映討論的主題并提供其內容的摘要。
關鍵字/短語提取過程包括以下步驟：
- 預處理： 文檔處理以消除噪音。
- 形成候選tokens：形成 n-gram tokens作為候選關鍵字。
- 關鍵字加權：使用向量器 TFIDF 計算每個 n-gram token (關鍵短語) 的 TFIDF 權重。
- 排序： 根據(jù) TFIDF 權重對候選詞進行降序排列。
- 選擇前 N 個關鍵字。
詞頻逆文檔頻率（TFIDF）
TFIDF 的工作原理是按比例增加一個詞語在文檔中出現(xiàn)的次數(shù)，但會被它所在的文檔數(shù)量抵消。因此，諸如“這個”、“是”等在所有文檔中普遍出現(xiàn)的詞沒有被賦予很高的權重。但是，在少數(shù)文檔中出現(xiàn)太多次的單詞將被賦予更高的權重排名，因為它很可能是指示文檔的上下文。
Term Frequency
Term Frequency --> 詞頻
詞頻定義為單詞 (i) 在文檔 (j) 中出現(xiàn)的次數(shù)除以文檔中的總單詞數(shù)。
Inverse Document Frequency
Inverse Document Frequency --> 逆文檔頻率
逆文檔頻率是指文檔總數(shù)除以包含該單詞的文檔數(shù)的對數(shù)。添加對數(shù)是為了抑制非常高的 IDF 值的重要性。
TFIDF
TFIDF是通過將詞頻乘以逆文檔頻率來計算的。
Python 中的 TFIDF
我們可以使用 sklearn 庫輕松執(zhí)行 TFIDF 向量化。
from?sklearn.feature_extraction.text?import?TfidfVectorizer vectorizer?=?TfidfVectorizer() X?=?vectorizer.fit_transform(corpus) print(X.toarray())
Python 庫準備
import?spacy
import?nltk
from?nltk.tokenize?import?word_tokenize
from?nltk.corpus?import?stopwords
import?regex?as?re
import?string
import?pandas?as?pd
import?numpy?as?np
import?nltk.data
import?re
nltk.download('punkt')
nltk.download('stopwords')
nltk.download('wordnet')
nltk.download('averaged_perceptron_tagger')
from?nltk.stem?import?WordNetLemmatizer
from?nltk?import?word_tokenize,?sent_tokenize,?pos_tag
[nltk_data] Downloading package stopwords to /root/nltk_data...
[nltk_data] Package stopwords is already up-to-date!
[nltk_data] Downloading package wordnet to /root/nltk_data...
[nltk_data] Package wordnet is already up-to-date!
[nltk_data] Downloading package punkt to /root/nltk_data...
[nltk_data] Package punkt is already up-to-date!
[nltk_data] Downloading package averaged_perceptron_tagger to
[nltk_data] /root/nltk_data...
[nltk_data] Package averaged_perceptron_tagger is already up-to-
[nltk_data] date!
主要使用的是nltk庫，如果你沒有使用過該庫，除了需要pip install nltk，另外還要下載諸如停用詞等?；蛘咧苯拥焦倬W上把整個nltk_data下載下來。
準備數(shù)據(jù)集
將使用 Theses100 標準數(shù)據(jù)集[1]來評估關鍵字提取方法。這 100 個數(shù)據(jù)集由新西蘭懷卡托大學的 100 篇完整的碩士和博士論文組成。這里使用一個只包含 99 個文件的版本。刪除其余不包含關鍵字打文件。論文主題非常多樣化：從化學、計算機科學和經濟學到心理學、哲學、歷史等。每個文檔的平均重要關鍵字數(shù)約為 7.67。
你可以將所需的數(shù)據(jù)集下載到本地。本文已經假設你電腦本地已經存在該數(shù)據(jù)文件。將編寫一個函數(shù)來檢索文檔及其關鍵字并將輸出存儲為數(shù)據(jù)框。
為了演示，我們只選擇了其中20個文檔。
import?os???????? path?=?"./data/theses100/"????? all_files?=?os.listdir(path?+?"docsutf8")? all_keys?=?os.listdir(path?+?"keys")? print(len(all_files),"?files?n",all_files, ??????"n",?all_keys)?#?不一定要排序
all_documents?=[]?
all_keys?=?[]?
all_files_names?=?[]?
for?i,?fname?in?enumerate(all_files):?
??with?open(path+'docsutf8/'+fname)?as?f:?
??????lines?=?f.readlines()?
??key_name=?fname[:-4?]?
??with?open(path+'keys/'+key_name+'.key')?as?f:?
??????k?=?f.readlines()?
??all_text?=?'?'.join(lines)?
??keyss?=?'?'.join(k)?
??all_documents.append(all_text)?
??all_keys.append(keyss.split("n"))?
??all_files_names.append(key_name)
??
import?pandas?as?pd
dtf?=?pd.DataFrame({'goldkeys':?all_keys,
????????????????????'text':?all_documents})
dtf.head()
文本預處理
預處理包括標記化、詞形還原、小寫轉換、去除數(shù)字、去除空格、去除短于三個字母的單詞、去除停用詞、去除符號和標點符號。實現(xiàn)這些功能的函數(shù)定義為preprocess_text，我附在文末，按需查看。
對于詞形還原， 使用了 WordNetLemmatizer 它不會改變單詞的詞根。
dtf['cleaned_text']?=?dtf.text.apply(lambda?x:?'?'.join(preprocess_text(x))) dtf.head()
之后，清理每個文檔的 goldkeys 并執(zhí)行詞形還原，以便稍后與TFIDF使用Python算法生成的單詞進行匹配。
#?清理基本關鍵字，刪除空格和噪音 def?clean_orginal_kw(orginal_kw): ??orginal_kw_clean?=[] ??for?doc_kw?in?orginal_kw: ????temp?=[] ????for?t?in?doc_kw: ??????tt?=?'?'.join(preprocess_text(t)) ??????if?len(tt.split())>0: ????????temp.append(tt) ????orginal_kw_clean.append(temp) ??return?orginal_kw_clean orginal_kw=?clean_orginal_kw(dtf['goldkeys']) orginal_kw[0:1]
TFIDF關鍵詞提取
1.生成 n-gram 并對其進行加權
首先，從文本特征提取包中導入 Tfidf Vectorizer。
其次，設置參數(shù) use_idf=True ，即希望將逆文檔頻率 IDF 與詞頻一起使用。它的最大值是 max_df = 0.5，這意味著我們只想要出現(xiàn)在 50% 的文檔中的詞條（本文中，對應 99 個中的 49 個文檔）。如果一個詞語在超過 50 個文檔中均出現(xiàn)過，它將被刪除，因為它在語料庫級別被認為是無歧視性的。指定n-gram的范圍從1到3（可以設置更大的數(shù)字，但是根據(jù)當前數(shù)據(jù)集的統(tǒng)計，最大的比例是1-3長度的關鍵字）
然后生成文檔的向量。
from?sklearn.feature_extraction.text?import?TfidfVectorizer vectorizer?=?TfidfVectorizer(use_idf=True,? ?????????????????????????????max_df=0.5,?min_df=1,? ?????????????????????????????ngram_range=(1,3)) vectors?=?vectorizer.fit_transform(dtf['cleaned_text'])
再者，對于每個文檔，均需要構建一個字典（ dict_of_tokens ），其中鍵是單詞，值是 TFIDF 權重。創(chuàng)建一個tfidf_vectors列表來存儲所有文檔的字典。
dict_of_tokens={i[1]:i[0]?for?i?in?vectorizer.vocabulary_.items()}
tfidf_vectors?=?[]??#?all?deoc?vectors?by?tfidf
for?row?in?vectors:
????tfidf_vectors.append({dict_of_tokens[column]:value?for
??????????????????????????(column,value)?in?
??????????????????????????zip(row.indices,row.data)})
看看這個字典包含的第一個文檔
print("The?number?of?document?vectors?=?",?len(tfidf_vectors)?,?
??????"\nThe?dictionary?of?document[0]?:",?tfidf_vectors[0])
第一個文檔的字典內容
字典的數(shù)量與文檔的數(shù)量相同，第一個文檔的字典包含每個 n-gram 及其 TFIDF 權重。
2. 按 TFIDF 權重對關鍵短語進行排序
下一步是簡單地根據(jù) TFIDF 權重對每個字典中的 n-gram 進行降序排序。設置 reverse=True 選擇降序排序。
doc_sorted_tfidfs?=[]??#?帶有tfidf權重的文檔特征列表 #?對文檔的每個字典進行排序 for?dn?in?tfidf_vectors: ????newD?=?sorted(dn.items(),?key=lambda?x:?x[1],?reverse=True) ????newD?=?dict(newD) ????doc_sorted_tfidfs.append(newD)
現(xiàn)在可以獲得沒有權重的關鍵字列表
tfidf_kw?=?[] for?doc_tfidf?in?doc_sorted_tfidfs: ????ll?=?list(doc_tfidf.keys()) ????tfidf_kw.append(ll)
為第一個文檔選擇前 5 個關鍵字。
TopN=?5 print(tfidf_kw[0][0:TopN])
['cone', 'cone tree', 'dimensional', 'shadow', 'visualization']
性能評估
以上方法足以使用其提取關鍵詞或關鍵短語，但在下文中，希望根據(jù)此類任務的標準度量，以科學的方式評估該方法的有效性。
首先使用精確匹配進行評估，從文檔中自動提取的關鍵短語必須與文檔的黃金標準關鍵字完全匹配。
def?get_exact_intersect(doc_orginal_kw,?doc_my_kw):
????general?=?[]
????for?kw?in?doc_my_kw:
????????for?kww?in?doc_orginal_kw:
????????????l_my?=?len(kw.split())
????????????l_org?=?len(kww.split())
????????????if?(kw?==?kww):
#?????????????????print("exact?matching?========",?kw,?kww)
????????????????if?kww?not?in?general:
????????????????????general.append(kww)?
????return?general
get_exact_intersect(orginal_kw[0],?tfidf_kw[0])
['visualization', 'animation', 'unix', 'dimension', 'cod', 'icon', 'shape', 'fisheye lens', 'rapid prototyping', 'script language', 'tree structure', 'programming language']
關鍵字提取是一個排名問題。最常用的排名度量之一是"Mean average precision at K(K處的平均精度), MAP@K"。為了計算MAP@K ，首先將 " precision at K elements(k處的精度), p@k "視為一個文檔的排名質量的基本指標。
def?apk(kw_actual,?kw_predicted,?k=10): ????if?len(kw_predicted)>k: ????????kw_predicted?=?kw_predicted[:k] ????score?=?0.0 ????num_hits?=?0.0 ????for?i,p?in?enumerate(kw_predicted): ????????if?p?in?kw_actual?and?p?not?in?kw_predicted[:i]: ????????????num_hits?+=?1.0 ????????????score?+=?num_hits?/?(i+1.0) ????if?not?kw_actual: ????????return?0.0 ????return?score?/?min(len(kw_actual),?k) def?mapk(kw_actual,?kw_predicted,?k=10): ????return?np.mean([apk(a,p,k)?for?a,p?in?zip(kw_actual,?kw_predicted)])
此函數(shù)apk接受兩個參數(shù)：TFIDF 方法預測的關鍵字列表（kw_predicted）和黃金標準關鍵字列表（kw_actual）。k 的默認值為 10。這里在 k=[5,10,20,40] 處打印 MAP 值。
for?k?in?[5,?10,20,40]:
????mpak=?mapk(orginal_kw,?tfidf_kw,?k)
????print("mean?average?precession??@",k,
??????????'=??{0:.4g}'.format(mpak))
mean average precession @ 5 = 0.2037 mean average precession @ 10 = 0.1379 mean average precession @ 20 = 0.08026 mean average precession @ 40 = 0.05371
在本文中，我們介紹了一種使用TFIDF和Python從文檔中提取關鍵字的簡單方法。用Python編寫代碼并逐步解釋。將MAP標準作為一個排序任務來評價該方法的性能。這種方法雖然簡單，但非常有效，被認為是該領域的有力基線之一。
附錄
文本預處理preprocess_text函數(shù)。
def?preprocess_text(text):
????#?1.?將其標記為字母符號
????text?=?remove_numbers(text)
????text?=?remove_http(text)
????text?=?remove_punctuation(text)
????text?=?convert_to_lower(text)
????text?=?remove_white_space(text)
????text?=?remove_short_words(text)
????tokens?=?toknizing(text)
????#?2.?POS?tagging
????pos_map?=?{'J':?'a',?'N':?'n',?'R':?'r',?'V':?'v'}
????pos_tags_list?=?pos_tag(tokens)
????#?print(pos_tags)
????#?3.?小寫變換和詞形還原?
????lemmatiser?=?WordNetLemmatizer()
????tokens?=?[lemmatiser.lemmatize(w.lower(),?
???????????????????????????????????pos=pos_map.get(p[0],?'v'))?
??????????????for?w,?p?in?pos_tags_list]
????return?tokens
def?convert_to_lower(text):
????#?小寫轉換
????return?text.lower()
def?remove_numbers(text):
????#?除去數(shù)字
????text?=?re.sub(r'\d+'?,?'',?text)
????return?text
def?remove_http(text):
????#?除去網址
????text?=?re.sub("https?:\/\/t.co\/[A-Za-z0-9]*",?'?',?text)
????return?text
def?remove_short_words(text):
????#?去除短于三個字母的單詞
????text?=?re.sub(r'\b\w{1,2}\b',?'',?text)
????return?text
def?remove_punctuation(text):
????#?去除符號和標點符號
????punctuations?=?'''!()[]{};?№?:'"\,`<>./?@=#$-(%^)+&[*_]~'''
????no_punct?=?""
?????
????for?char?in?text:
????????if?char?not?in?punctuations:
????????????no_punct?=?no_punct?+?char
????return?no_punct
def?remove_white_space(text):
????#?去除空格
????text?=?text.strip()
????return?text
def?toknizing(text):
????stp?=?my_stopwords
????#stops?=?set(stopwords.words('english'))
????stop_words?=?set(stp)
????tokens?=?word_tokenize(text)
????##?從tokens中去除停用詞
????result?=?[i?for?i?in?tokens?if?not?i?in?stop_words]
????return?result以上就是基于Python和TFIDF實現(xiàn)提取文本中的關鍵詞的詳細內容，更多關于Python TFIDF提取文本關鍵詞的資料請關注腳本之家其它相關文章！
相關文章
今天給大家?guī)淼氖顷P于Python的相關知識,文章圍繞著Python魔法方法展開,文中有非常詳細的介紹及代碼示例,需要的朋友可以參考下2021-06-06
這篇文章主要為大家詳細介紹了如何使用Python快速實現(xiàn)鏈接轉word文檔功能,文中的示例代碼講解詳細,感興趣的小伙伴可以跟隨小編一起學習一下2025-02-02
這篇文章主要介紹了pandas分批讀取大數(shù)據(jù)集教程，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
MongoDB是一款開源的、基于分布式的、面向文檔存儲的非關系型數(shù)據(jù)庫。擁有高性能、高可用，易擴展的優(yōu)點，并且支持豐富的查詢語言來支持讀寫操作以及更復雜的查詢等。接下來我們來看一下如何使用Python操作MongoDB數(shù)據(jù)庫2021-09-09
這篇文章主要給大家介紹python算法練習兔子產子，文章先進行問題描述及分析然后設計算法最后再得出完整程序,需要的朋友可以參考一下 文章得具體內容2021-10-10
最近搞安裝ssl模塊每天都弄到很晚,所以這里給大家整理下,這篇文章主要給大家介紹了關于python3.10及以上版本編譯安裝ssl模塊的詳細過程,文中介紹的非常詳細,需要的朋友可以參考下2023-05-05
ImageAI是一個面向計算機視覺編程的Python庫，支持最先進的機器學習算法。本文將利用ImageAI實現(xiàn)圖像識別功能，感興趣的小伙伴可以跟隨小編一起學習一下2023-02-02
這篇文章主要介紹了基于Python模擬瀏覽器發(fā)送http請求,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-11-11
這篇文章主要介紹了Python enumerate索引迭代代碼解析，具有一定借鑒價值,需要的朋友可以參考下2018-01-01
今天小編就為大家分享一篇關于Python中時間datetime的處理與轉換用法總結，小編覺得內容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2019-02-02