快捷導(dǎo)航

Python實現(xiàn)查找并刪除重復(fù)文件的方法小結(jié)

更新時間：2025年03月08日 13:36:36 作者：Bruce_xiaowei

這篇文章主要為大家詳細介紹了如何使用Python編寫一個簡單的腳本來查找并刪除指定目錄及其子目錄中的重復(fù)文件,需要的可以參考一下

1. 引言

隨著計算機存儲技術(shù)的發(fā)展，硬盤容量越來越大，但隨之而來的文件管理問題也日益突出。尤其是當多個用戶或應(yīng)用程序在同一系統(tǒng)中工作時，很容易產(chǎn)生大量的重復(fù)文件。這些重復(fù)文件不僅浪費了寶貴的存儲空間，還可能影響系統(tǒng)的性能。因此，定期清理重復(fù)文件是非常有必要的。

本文將介紹一種基于Python的解決方案，利用哈希算法（如MD5）來高效地查找并刪除重復(fù)文件。

2. 環(huán)境準備

為了運行本文提供的代碼，您需要：

Python 3.x 版本

安裝了os和hashlib模塊（這兩個模塊是Python標準庫的一部分，無需額外安裝）

確保您的環(huán)境中已正確安裝了Python，并且可以正常導(dǎo)入上述模塊。

3. 核心代碼解析

3.1 計算文件的MD5哈希值

def file_hash(filepath):
    """計算文件的MD5哈希值"""
    hash_md5 = hashlib.md5()
    with open(filepath, "rb") as f:
        for chunk in iter(lambda: f.read(4096), b""):
            hash_md5.update(chunk)
    return hash_md5.hexdigest()

該函數(shù)接受一個文件路徑作為參數(shù)，返回其MD5哈希值。它通過逐塊讀取文件內(nèi)容（每次讀取4096字節(jié)），以避免一次性加載整個文件到內(nèi)存中，從而提高效率并減少內(nèi)存占用。

3.2 查找并刪除重復(fù)文件

def find_and_confirm_delete_duplicates(root_dir):
    """在指定目錄下查找并確認刪除重復(fù)文件"""
    hashes = {}
    duplicates = []

    # 遍歷指定目錄及其所有子目錄
    for dirpath, _, filenames in os.walk(root_dir):
        for filename in filenames:
            filepath = os.path.join(dirpath, filename)
            try:
                file_hash_value = file_hash(filepath)
                if file_hash_value in hashes:
                    duplicates.append(filepath)
                else:
                    hashes[file_hash_value] = filepath
            except Exception as e:
                print(f"Error processing file {filepath}: {e}")

    # 創(chuàng)建Tkinter根窗口
    root = tk.Tk()
    root.withdraw()  # 隱藏主窗口

    # 遍歷重復(fù)文件列表，逐個確認是否刪除
    for dup in duplicates:
        # 顯示確認對話框
        response = messagebox.askyesno("Confirm Deletion", f"Do you want to delete the duplicate file:\n{dup}")
        if response:
            try:
                os.remove(dup)
                print(f"Deleted duplicate file: {dup}")
            except Exception as e:
                print(f"Error deleting file {dup}: {e}")
        else:
            print(f"Skipped deletion of duplicate file: {dup}")

    root.destroy()  # 銷毀Tkinter根窗口

此函數(shù)遍歷給定的根目錄及其所有子目錄，檢查每個文件的內(nèi)容是否與其他文件相同。如果發(fā)現(xiàn)相同的文件，則將其添加到duplicates列表中，最后批量刪除這些重復(fù)文件。

3.3刪除確認

引入tkinter和messagebox：用于創(chuàng)建圖形用戶界面并顯示確認對話框。

創(chuàng)建Tkinter根窗口：隱藏主窗口以避免不必要的顯示干擾。

確認刪除操作：對于每個發(fā)現(xiàn)的重復(fù)文件，使用messagebox.askyesno()彈出確認對話框。用戶點擊“是”則刪除文件，點擊“否”則跳過該文件。

異常處理：增加了對文件讀取和刪除操作中的異常處理，確保程序不會因單個文件的問題而崩潰。

使用說明：

將上述代碼保存為一個Python文件（例如remove_duplicates_with_confirmation.py）。

修改代碼中的root_directory變量，使其指向您想要清理的文件夾路徑。

在命令行中運行該Python腳本：

python remove_duplicates_with_confirmation.py

通過這種方式，您可以更安全地管理文件，確保每次刪除操作都經(jīng)過用戶的確認。

4. 功能詳解

4.1 文件哈希值計算

我們選擇使用MD5算法來計算文件的哈希值。MD5是一種廣泛使用的加密散列函數(shù)，能夠生成固定長度的字符串，該字符串幾乎不可能與任何其他輸入產(chǎn)生相同的輸出。因此，兩個文件具有相同的MD5哈希值意味著它們的內(nèi)容完全一致。

4.2 遍歷目錄結(jié)構(gòu)

os.walk()是一個非常有用的函數(shù)，它可以遞歸地遍歷指定目錄及其所有子目錄。對于每個目錄，它會返回三個值：當前目錄路徑、當前目錄下的子目錄名列表以及當前目錄下的文件名列表。這使得我們可以輕松地訪問和處理每一個文件。

4.3 刪除重復(fù)文件

一旦確定了哪些文件是重復(fù)的，就可以使用os.remove()函數(shù)將它們從文件系統(tǒng)中刪除。需要注意的是，在實際應(yīng)用中應(yīng)謹慎操作，最好先備份重要數(shù)據(jù)，或者僅將重復(fù)文件移動到另一個位置進行審查。

5. 使用示例

假設(shè)您有一個包含許多圖片、文檔等文件的文件夾，并且懷疑其中存在重復(fù)項?？梢酝ㄟ^以下步驟使用我們的腳本：

將上述代碼保存為一個Python文件（例如remove_duplicates.py）。

修改代碼中的root_directory變量，使其指向您想要清理的文件夾路徑。

在命令行中運行該Python腳本：

python remove_duplicates.py

6. 源碼

# 導(dǎo)入必要的模塊
import os
import hashlib
import tkinter as tk
from tkinter import messagebox

def file_hash(filepath):
    """計算文件的MD5哈希值"""
    hash_md5 = hashlib.md5()
    with open(filepath, "rb") as f:
        for chunk in iter(lambda: f.read(4096), b""):
            hash_md5.update(chunk)
    return hash_md5.hexdigest()

def find_and_confirm_delete_duplicates(root_dir):
    """在指定目錄下查找并確認刪除重復(fù)文件"""
    hashes = {}
    duplicates = []

    # 遍歷指定目錄及其所有子目錄
    for dirpath, _, filenames in os.walk(root_dir):
        for filename in filenames:
            filepath = os.path.join(dirpath, filename)
            try:
                file_hash_value = file_hash(filepath)
                if file_hash_value in hashes:
                    duplicates.append(filepath)
                else:
                    hashes[file_hash_value] = filepath
            except Exception as e:
                print(f"Error processing file {filepath}: {e}")

    # 創(chuàng)建Tkinter根窗口
    root = tk.Tk()
    root.withdraw()  # 隱藏主窗口

    # 遍歷重復(fù)文件列表，逐個確認是否刪除
    for dup in duplicates:
        # 顯示確認對話框
        response = messagebox.askyesno("Confirm Deletion", f"Do you want to delete the duplicate file:\n{dup}")
        if response:
            try:
                os.remove(dup)
                print(f"Deleted duplicate file: {dup}")
            except Exception as e:
                print(f"Error deleting file {dup}: {e}")
        else:
            print(f"Skipped deletion of duplicate file: {dup}")

    root.destroy()  # 銷毀Tkinter根窗口

# 使用示例
if __name__ == "__main__":
    # 指定要查找重復(fù)文件的根目錄路徑
    root_directory = input("請輸入要查找的目錄：")  # 替換為你的目錄路徑
    # 調(diào)用函數(shù)查找并確認刪除重復(fù)文件
    find_and_confirm_delete_duplicates(root_directory)

/Users/liuxiaowei/PycharmProjects/AI大模型/.venv/bin/python /Users/liuxiaowei/PycharmProjects/AI大模型/Kimi模型/查找并刪除重復(fù)文件.py
請輸入要查找的目錄： /Users/liuxiaowei/Downloads