快捷導(dǎo)航

使用Python實現(xiàn)一個簡單實用的文本詞頻統(tǒng)計分析工具

更新時間：2025年05月29日 09:31:38 作者：笨笨輕松熊

文本分析是自然語言處理（NLP）中的基礎(chǔ)任務(wù),而詞頻統(tǒng)計則是文本分析的入門級應(yīng)用,本文就來為大家介紹如何實現(xiàn)一個簡單而實用的文本詞頻統(tǒng)計工具吧,非常適合Python初學(xué)者練手

前言

文本分析是自然語言處理（NLP）中的基礎(chǔ)任務(wù)，而詞頻統(tǒng)計則是文本分析的入門級應(yīng)用。通過詞頻分析，我們可以快速了解文本的主題傾向、關(guān)鍵信息分布以及語言使用習(xí)慣。本文將帶你實現(xiàn)一個簡單而實用的文本詞頻統(tǒng)計工具，非常適合Python初學(xué)者練手。

功能特點

支持任意.txt格式文本文件的詞頻分析

自動處理文本編碼問題

使用正則表達(dá)式精確提取英文單詞（包括帶連字符和撇號的單詞）

按頻率排序并計算每個單詞的出現(xiàn)比例

支持查看前N個高頻詞功能

代碼實現(xiàn)

import re
from collections import defaultdict


def word_frequency(file_path, top_n=None):
    """
    統(tǒng)計文本文件中的單詞頻率
    :param file_path: 文本文件路徑
    :param top_n: 顯示前N個高頻詞，默認(rèn)顯示全部
    :return: 排序后的單詞頻率列表
    """
    # 讀取文件內(nèi)容
    try:
        with open(file_path, 'r', encoding='utf-8') as file:
            text = file.read().lower()  # 轉(zhuǎn)為小寫
    except FileNotFoundError:
        print(f"錯誤：文件 {file_path} 未找到")
        return []
    except UnicodeDecodeError:
        print("錯誤：文件編碼不支持，請嘗試使用其他編碼（如gbk）")
        return []

    # 使用正則表達(dá)式提取單詞（包括帶連字符的單詞）
    words = re.findall(r"\b[a-zA-Z'-]+\b", text)

    # 統(tǒng)計詞頻
    frequency = defaultdict(int)
    for word in words:
        frequency[word] += 1

    # 按頻率排序
    sorted_words = sorted(frequency.items(), key=lambda x: x[1], reverse=True)

    # 輸出結(jié)果
    print(f"\n總共有 {len(words)} 個單詞，其中唯一單詞 {len(sorted_words)} 個")
    print("排名 | 單詞\t\t頻率\t占比")
    print("-" * 40)

    total_words = len(words)
    for rank, (word, count) in enumerate(sorted_words[:top_n], 1):
        percentage = (count / total_words) * 100
        print(f"{rank:4} | {word:12} {count:6} \t{percentage:.2f}%")

    return sorted_words


if __name__ == "__main__":
    # 使用示例
    file_path = input("請輸入文本文件路徑：").strip()
    top_n = input("要顯示前多少個高頻詞（默認(rèn)全部）：").strip()
    top_n = int(top_n) if top_n.isdigit() else None

    word_frequency(file_path, top_n)

代碼解析

導(dǎo)入必要模塊：