快捷導(dǎo)航

Python檢測兩個文本文件相似性的三種方法

更新時間：2025年03月14日 08:45:40 作者：數(shù)據(jù)知道

檢測兩個文本文件的相似性是一個常見的任務(wù),可以用于文本去重、抄襲檢測等場景,Python 提供了多種方法來實現(xiàn)這一功能,x下面小編就來簡單介紹一下吧

檢測兩個文本文件的相似性是一個常見的任務(wù)，可以用于文本去重、抄襲檢測等場景。Python 提供了多種方法來實現(xiàn)這一功能，包括基于字符串匹配、詞頻統(tǒng)計和機器學(xué)習(xí)的方法。以下是幾種常用的方法及其實現(xiàn)。

1. 基于字符串匹配的方法

1.1 Levenshtein 距離

原理：計算兩個字符串之間的編輯距離（插入、刪除、替換操作的次數(shù)）。

優(yōu)點：簡單直觀。

缺點：計算復(fù)雜度較高，不適合長文本。

import Levenshtein

def similarity_levenshtein(text1, text2):
    distance = Levenshtein.distance(text1, text2)
    max_len = max(len(text1), len(text2))
    return 1 - (distance / max_len)

# 讀取文件
with open("file1.txt", "r") as f1, open("file2.txt", "r") as f2:
    text1 = f1.read()
    text2 = f2.read()

similarity = similarity_levenshtein(text1, text2)
print(f"Similarity (Levenshtein): {similarity:.2f}")

1.2 Jaccard 相似度

原理：計算兩個集合的交集與并集的比值。

優(yōu)點：適合處理短文本或單詞級別的相似性。

缺點：忽略詞序和語義。

案例1：

def similarity_jaccard(text1, text2):
    set1 = set(text1.split())
    set2 = set(text2.split())
    intersection = set1.intersection(set2)
    union = set1.union(set2)
    return len(intersection) / len(union)

# 讀取文件
with open("file1.txt", "r") as f1, open("file2.txt", "r") as f2:
    text1 = f1.read()
    text2 = f2.read()

similarity = similarity_jaccard(text1, text2)
print(f"Similarity (Jaccard): {similarity:.2f}")

案例2：

Jaccard 相似度通過比較兩個集合的交集與并集的比例來衡量相似性。對于文本，可以將文本中的詞看作集合元素。下面兩種方法分別從不同的角度衡量了文本的相似性，可以根據(jù)實際需求選擇合適的方法。記得將 file1.txt 和 file2.txt 替換為你實際要比較的文件路徑。

import Levenshtein

def compare_text_files_edit_distance(file1_path, file2_path):
    try:
        with open(file1_path, 'r', encoding='utf-8') as file1:
            text1 = file1.read()
        with open(file2_path, 'r', encoding='utf-8') as file2:
            text2 = file2.read()

        distance = Levenshtein.distance(text1, text2)
        max_length = max(len(text1), len(text2))
        similarity = 1 - (distance / max_length)
        return similarity
    except FileNotFoundError:
        print("錯誤: 文件未找到!")
    except Exception as e:
        print(f"錯誤: 發(fā)生了一個未知錯誤: {e}")
    return None

if __name__ == "__main__":
    file1_path = 'file1.txt'
    file2_path = 'file2.txt'
    similarity = compare_text_files_edit_distance(file1_path, file2_path)
    if similarity is not None:
        print(f"兩個文件基于編輯距離的相似度為: {similarity:.2f}")

2. 基于詞頻統(tǒng)計的方法

2.1 余弦相似度

原理：將文本表示為詞頻向量，計算向量之間的余弦相似度。

優(yōu)點：適合處理長文本，考慮詞頻信息。

缺點：忽略詞序和語義。

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.metrics.pairwise import cosine_similarity

def similarity_cosine(text1, text2):
    vectorizer = CountVectorizer().fit_transform([text1, text2])
    vectors = vectorizer.toarray()
    return cosine_similarity([vectors[0]], [vectors[1]])[0][0]

# 讀取文件
with open("file1.txt", "r") as f1, open("file2.txt", "r") as f2:
    text1 = f1.read()
    text2 = f2.read()

similarity = similarity_cosine(text1, text2)
print(f"Similarity (Cosine): {similarity:.2f}")

2.2 TF-IDF 相似度

原理：將文本表示為 TF-IDF 向量，計算向量之間的余弦相似度。

優(yōu)點：考慮詞的重要性，適合處理長文本。

缺點：忽略詞序和語義。

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

def similarity_tfidf(text1, text2):
    vectorizer = TfidfVectorizer().fit_transform([text1, text2])
    vectors = vectorizer.toarray()
    return cosine_similarity([vectors[0]], [vectors[1]])[0][0]

# 讀取文件
with open("file1.txt", "r") as f1, open("file2.txt", "r") as f2:
    text1 = f1.read()
    text2 = f2.read()

similarity = similarity_tfidf(text1, text2)
print(f"Similarity (TF-IDF): {similarity:.2f}")

3. 基于語義的方法

3.1 Word2Vec + 余弦相似度

原理：將文本表示為詞向量的平均值，計算向量之間的余弦相似度。

優(yōu)點：考慮語義信息。

缺點：需要預(yù)訓(xùn)練的詞向量模型。

from gensim.models import KeyedVectors
import numpy as np

# 加載預(yù)訓(xùn)練的詞向量模型
word2vec_model = KeyedVectors.load_word2vec_format("path/to/word2vec.bin", binary=True)

def text_to_vector(text):
    words = text.split()
    vectors = [word2vec_model[word] for word in words if word in word2vec_model]
    return np.mean(vectors, axis=0) if vectors else np.zeros(word2vec_model.vector_size)

def similarity_word2vec(text1, text2):
    vec1 = text_to_vector(text1)
    vec2 = text_to_vector(text2)
    return np.dot(vec1, vec2) / (np.linalg.norm(vec1) * np.linalg.norm(vec2))

# 讀取文件
with open("file1.txt", "r") as f1, open("file2.txt", "r") as f2:
    text1 = f1.read()
    text2 = f2.read()

similarity = similarity_word2vec(text1, text2)
print(f"Similarity (Word2Vec): {similarity:.2f}")

3.2 BERT + 余弦相似度

原理：使用預(yù)訓(xùn)練的 BERT 模型將文本表示為向量，計算向量之間的余弦相似度。

優(yōu)點：考慮上下文語義信息。

缺點：計算復(fù)雜度高，需要 GPU 加速。

from transformers import BertTokenizer, BertModel
import torch
import numpy as np

# 加載預(yù)訓(xùn)練的 BERT 模型和分詞器
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

def text_to_bert_vector(text):
    inputs = tokenizer(text, return_tensors='pt', truncation=True, padding=True)
    outputs = model(**inputs)
    return outputs.last_hidden_state.mean(dim=1).detach().numpy()

def similarity_bert(text1, text2):
    vec1 = text_to_bert_vector(text1)
    vec2 = text_to_bert_vector(text2)
    return np.dot(vec1, vec2.T) / (np.linalg.norm(vec1) * np.linalg.norm(vec2))

# 讀取文件
with open("file1.txt", "r") as f1, open("file2.txt", "r") as f2:
    text1 = f1.read()
    text2 = f2.read()

similarity = similarity_bert(text1, text2)
print(f"Similarity (BERT): {similarity:.2f}")

4. 總結(jié)

根據(jù)需求選擇合適的方法：

如果需要快速計算短文本的相似性，可以使用 Levenshtein 距離或 Jaccard 相似度。

如果需要處理長文本并考慮詞頻信息，可以使用余弦相似度或 TF-IDF 相似度。

如果需要考慮語義信息，可以使用 Word2Vec 或 BERT。

到此這篇關(guān)于Python檢測兩個文本文件相似性的三種方法的文章就介紹到這了,更多相關(guān)Python檢測文本相似性內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

相關(guān)文章

深入了解Python裝飾器的高級用法
這篇文章主要介紹了Python裝飾器的高級用法，幫助大家更好的理解和學(xué)習(xí)python，感興趣的朋友可以了解下
2020-08-08
Python實現(xiàn)的簡單dns查詢功能示例
這篇文章主要介紹了Python實現(xiàn)的簡單dns查詢功能,結(jié)合實例形式分析了Python基于socket模塊的dns信息查詢實現(xiàn)技巧,需要的朋友可以參考下
2017-05-05
解決tf.keras.models.load_model加載模型報錯問題
這篇文章主要介紹了解決tf.keras.models.load_model加載模型報錯問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2023-06-06
pandas探索你的數(shù)據(jù)實現(xiàn)可視化示例詳解
這篇文章主要為大家介紹了pandas探索你的數(shù)據(jù)實現(xiàn)可視化示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
2023-10-10
今天小編就為大家分享一篇使用python3構(gòu)建文件傳輸?shù)姆椒?，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-02-02