如何利用python生成MD5并去重
給每個(gè)文件生成一個(gè)MD5值，來(lái)對(duì)文件進(jìn)行加密，是常用的文件校驗(yàn)方法，但是MD5的缺陷就是不能防止碰撞，
所以不同文件生成的MD5可能是相同的，因此就需要進(jìn)行去重操作。
為方便演示，我用txt文件代替文件夾,用txt文件中的字符串代替文件夾中文件來(lái)生成MD5值并進(jìn)行去重操作。
每個(gè)txt文件中有字符串，用于生成MD5值：
然后用代碼生成MD5值并輸出為文件，打印了一下字符串的數(shù)量和MD5的數(shù)量，兩者是相同的：
生成的MD5文件內(nèi)容就是128位的MD5值，每個(gè)值一行：
接下來(lái)對(duì)這些MD5進(jìn)行去重操作，運(yùn)行程序，會(huì)自動(dòng)生成一個(gè)txt文件并將去重后的MD5寫(xiě)入。
到此這篇關(guān)于如何利用python生成MD5并去重的文章就介紹到這了,更多相關(guān)python生成MD5并去重內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Python實(shí)現(xiàn)計(jì)算字符串中出現(xiàn)次數(shù)最多的字符示例
這篇文章主要介紹了Python實(shí)現(xiàn)計(jì)算字符串中出現(xiàn)次數(shù)最多的字符,涉及Python針對(duì)字符串的遍歷、統(tǒng)計(jì)等相關(guān)操作技巧,需要的朋友可以參考下2019-01-01
Python基于遞歸算法實(shí)現(xiàn)的漢諾塔與Fibonacci數(shù)列示例
這篇文章主要介紹了Python基于遞歸算法實(shí)現(xiàn)的漢諾塔與Fibonacci數(shù)列,結(jié)合實(shí)例形式分析了漢諾塔與Fibonacci數(shù)列的遞歸實(shí)現(xiàn)技巧,需要的朋友可以參考下2018-04-04
這篇文章介紹了Python字節(jié)串類型bytes及用法，文中通過(guò)示例代碼介紹的非常詳細(xì)。對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2022-05-05
如何用Python 實(shí)現(xiàn)全連接神經(jīng)網(wǎng)絡(luò)（Multi-layer Perceptron）
這篇文章主要介紹了如何用Python 實(shí)現(xiàn)全連接神經(jīng)網(wǎng)絡(luò)（Multi-layer Perceptron），幫助大家更好的進(jìn)行機(jī)器學(xué)習(xí)，感興趣的朋友可以了解下2020-10-10
Python基于numpy模塊實(shí)現(xiàn)回歸預(yù)測(cè)
這篇文章主要介紹了Python基于numpy模塊實(shí)現(xiàn)回歸預(yù)測(cè),文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-05-05
這篇文章主要為大家介紹了如何利用Python實(shí)現(xiàn)打地鼠小游戲，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-03-03
Python內(nèi)存泄漏和內(nèi)存溢出的解決方案
這篇文章主要介紹了Python內(nèi)存泄漏和內(nèi)存溢出的解決方案，幫助大家維護(hù)后臺(tái)進(jìn)程，感興趣的朋友可以了解下2020-09-09
Miniconda是一款小巧的python環(huán)境管理工具,安裝包大約只有50M多點(diǎn),其安裝程序中包含conda軟件包管理器和Python,下面這篇文章主要給大家介紹了關(guān)于miniconda3介紹、安裝以及使用的相關(guān)資料,需要的朋友可以參考下2023-02-02
python實(shí)現(xiàn)數(shù)學(xué)模型(插值、擬合和微分方程)
這篇文章主要介紹了python實(shí)現(xiàn)數(shù)學(xué)模型(插值、擬合和微分方程),本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-11-11
python?pandas如何使用loc和iloc讀取行數(shù)據(jù)或列數(shù)據(jù)
這篇文章主要給大家介紹了關(guān)于python?pandas如何使用loc和iloc讀取行數(shù)據(jù)或列數(shù)據(jù)的相關(guān)資料,在學(xué)習(xí)機(jī)器學(xué)習(xí)的過(guò)程中對(duì)數(shù)據(jù)進(jìn)行預(yù)處理時(shí)避免不了需要使用Pandas進(jìn)行大量操,需要的朋友可以參考下2023-10-10