python實(shí)現(xiàn)字符串加密 生成唯一固定長度字符串
更新時(shí)間：2019年03月22日 08:09:24 作者：中乘風(fēng)
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)字符串加密，生成唯一固定長度字符串，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
背景
有時(shí)候爬蟲爬過的url需要進(jìn)行指紋核對(duì)，比如Scrapy就是進(jìn)行指紋核對(duì)，如果是指紋重復(fù)則不再爬取。當(dāng)然在入庫的時(shí)候我還是需要做一次核對(duì)，否則如果爬蟲有漏掉，進(jìn)入數(shù)據(jù)庫就不合適了。
思路
根據(jù)Scrapy的指紋生成方式，這次的指紋生成方式也是用hash的MD5對(duì)目標(biāo)URL進(jìn)行加密，生成固定長度的字符串，然后在數(shù)據(jù)庫里面將字段設(shè)置成unique，這樣的話在保證url固定長度的情況下還能夠保證入庫后的唯一性，進(jìn)最大努力避免出現(xiàn)重復(fù)的數(shù)據(jù)。
指紋生成代碼
新建一個(gè)文件，然后在里面編寫指紋生成的方法，在使用的時(shí)候from import進(jìn)來，調(diào)用方法即可。代碼為：
import hashlib
def get_md5(url):
"""
由于hash不處理unicode編碼的字符串（python3默認(rèn)字符串是unicode）
所以這里判斷是否字符串，如果是則進(jìn)行轉(zhuǎn)碼
初始化md5、將url進(jìn)行加密、然后返回加密字串
"""
if isinstance(url, str):
url = url.encode("utf-8")
md = hashlib.md5()
md.update(url)
return md.hexdigest()
為了驗(yàn)證代碼的可用性，再加上代碼：
if __name__ == "__main__": urls = "http://www.baidus.com" print(get_md5(urls))
在本地運(yùn)行無誤，再把下面這串刪除。等到調(diào)用的時(shí)候from import get_md5把文件和方法引入，就可以使用了
以上就是本文的全部內(nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)多層感知器的相關(guān)資料，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-01-01
這篇文章主要介紹了PyTorch中常用的激活函數(shù)的方法示例，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-08-08
這篇文章主要介紹了簡潔的十分鐘Python入門教程,Python語言本身的簡潔也使得網(wǎng)絡(luò)上各種Python快門入門教程有著很高的人氣,本文是國內(nèi)此類其中的一篇,需要的朋友可以參考下2015-04-04
在cmd中運(yùn)行.py文件: python的操作步驟
今天小編就為大家分享一篇在cmd中運(yùn)行.py文件: python的操作步驟，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-05-05
這篇文章主要介紹了Python中._pth文件的作用及說明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-02-02
python解析發(fā)往本機(jī)的數(shù)據(jù)包示例 (解析數(shù)據(jù)包)
這篇文章主要介紹了使用python解析獲取發(fā)往本機(jī)的數(shù)據(jù)包，并打印出來, 大家參考使用吧2014-01-01
Python實(shí)現(xiàn)數(shù)據(jù)集劃分(訓(xùn)練集和測試集)
這篇文章主要為大家詳細(xì)介紹了Python是如何實(shí)現(xiàn)數(shù)據(jù)集劃分的，分為訓(xùn)練集和測試集，文中的實(shí)現(xiàn)方法講解詳細(xì)，感興趣的小伙伴可以了解一下2023-05-05
這篇文章主要介紹了Django的Modelforms用法簡介,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-07-07
這篇文章主要給大家介紹了關(guān)于如何使用python提取字符串中英文的相關(guān)資料,主要通過正則re中的sub函數(shù)、findall函數(shù)以及compile函數(shù)判斷來實(shí)現(xiàn)，需要的朋友可以參考下2021-05-05
Python基于scrapy采集數(shù)據(jù)時(shí)使用代理服務(wù)器的方法
這篇文章主要介紹了Python基于scrapy采集數(shù)據(jù)時(shí)使用代理服務(wù)器的方法,涉及Python使用代理服務(wù)器的技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-04-04