python 高效去重復(fù) 支持GB級別大文件的示例代碼
更新時(shí)間：2018年11月08日 14:46:05 作者：夜班機(jī)器人
今天小編就為大家分享一篇python 高效去重復(fù) 支持GB級別大文件的示例代碼，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
如下所示：
#coding=utf-8
import sys, re, os
def getDictList(dict):
regx = '''[\w\~`\!\@\#\$\%\^\&\*\(\)\_\-\+\=\[\]\{\}\:\;\,\.\/\<\>\?]+'''
with open(dict) as f:
data = f.read()
return re.findall(regx, data)
def rmdp(dictList):
return list(set(dictList))
def fileSave(dictRmdp, out):
with open(out, 'a') as f:
for line in dictRmdp:
f.write(line + '\n')
def main():
try:
dict = sys.argv[1].strip()
out = sys.argv[2].strip()
except Exception, e:
print 'error:', e
me = os.path.basename(__file__)
print 'usage: %s <input> <output>' %me
print 'example: %s dict.txt dict_rmdp.txt' %me
exit()
dictList = getDictList(dict)
dictRmdp = rmdp(dictList)
fileSave(dictRmdp, out)
if __name__ == '__main__':
main()
以上這篇python 高效去重復(fù) 支持GB級別大文件的示例代碼就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了python程序中多任務(wù)的相關(guān)資料，幫助大家更好的理解和學(xué)習(xí)python，感興趣的朋友可以了解下2020-09-09
TOML?文件表示（Tom's?Obvious,最小語言）,它的語法主要由鍵=值對組成,本文主要為大家詳細(xì)介紹了如何使用Python讀寫TOML文件,感興趣的小伙伴可以了解下2023-08-08
Pandas?Groupby之在Python中匯總、聚合和分組數(shù)據(jù)的示例詳解
GroupBy是一個(gè)非常簡單的概念，我們可以創(chuàng)建一個(gè)類別分組，并對這些類別應(yīng)用一個(gè)函數(shù)，本文給大家介紹Pandas?Groupby之如何在Python中匯總、聚合和分組數(shù)據(jù)，感興趣的朋友跟隨小編一起看看吧2023-07-07
Python實(shí)戰(zhàn)小項(xiàng)目之身份證信息校驗(yàn)
讀萬卷書不如行萬里路，只學(xué)書上的理論是遠(yuǎn)遠(yuǎn)不夠的，只有在實(shí)戰(zhàn)中才能獲得能力的提升，本篇文章手把手帶你用Python做一個(gè)身份證信息校驗(yàn)的小項(xiàng)目,大家可以在過程中查缺補(bǔ)漏，提升水平2021-10-10
這篇文章主要介紹了python好玩的項(xiàng)目—色情圖片識別，具有一定參考價(jià)值，需要的朋友可以了解下。2017-11-11
Pytorch統(tǒng)計(jì)參數(shù)網(wǎng)絡(luò)參數(shù)數(shù)量方式
這篇文章主要介紹了Pytorch統(tǒng)計(jì)參數(shù)網(wǎng)絡(luò)參數(shù)數(shù)量方式，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-02-02
python GUI模擬實(shí)現(xiàn)計(jì)算器
這篇文章主要為大家詳細(xì)介紹了python GUI模擬實(shí)現(xiàn)計(jì)算器，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2020-06-06
Python中的sys.stdout.write實(shí)現(xiàn)打印刷新功能
今天小編就為大家分享一篇Python中的sys.stdout.write實(shí)現(xiàn)打印刷新功能，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02
從0到1使用python開發(fā)一個(gè)半自動(dòng)答題小程序的實(shí)現(xiàn)
這篇文章主要介紹了從0到1使用python開發(fā)一個(gè)半自動(dòng)答題小程序的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-05-05
python轉(zhuǎn)換wrf輸出的數(shù)據(jù)為網(wǎng)頁可視化json格式
這篇文章主要介紹了python轉(zhuǎn)換wrf輸出的數(shù)據(jù)為網(wǎng)頁可視化json格式，文章圍繞主題展開詳細(xì)的內(nèi)容介紹，具有一定的參考價(jià)值，需要的小伙伴可以參考一下2022-09-09