Python實現(xiàn)的txt文件去重功能示例
本文實例講述了Python實現(xiàn)的txt文件去重功能。分享給大家供大家參考，具體如下：
# -*- coding:utf-8 -*-
#! python2
import shutil
a=0
readDir = "/Users/Administrator/Desktop/old.txt" #old
writeDir = "/Users/Administrator/Desktop/new.txt" #new
# txtDir = "/home/Administrator/Desktop/１"
lines_seen = set()
outfile = open(writeDir, "w")
f = open(readDir, "r")
for line in f:
if line not in lines_seen:
a+=1
outfile.write(line)
lines_seen.add(line)
print(a)
print('\n')
outfile.close()
print("success")
其中old.tx如下：
m.fzitv.net
www.baidu.com
www.sina.com.cn
m.fzitv.net
www.google.com
www.sohu.com
m.fzitv.net
www.163.com
運行后new.txt內(nèi)容如下：
m.fzitv.net
www.baidu.com
www.sina.com.cn
www.google.com
www.sohu.com
www.163.com
PS：這里再為大家提供幾款相關(guān)工具供大家參考使用：
在線去除重復(fù)項工具：
http://tools.jb51.net/code/quchong
在線文本去重復(fù)工具：
http://tools.jb51.net/aideddesign/txt_quchong
更多關(guān)于Python相關(guān)內(nèi)容感興趣的讀者可查看本站專題：《Python文件與目錄操作技巧匯總》、《Python文本文件操作技巧匯總》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》及《Python入門與進(jìn)階經(jīng)典教程》
希望本文所述對大家Python程序設(shè)計有所幫助。
相關(guān)文章
python中通過預(yù)先編譯正則表達(dá)式提高效率
Python是一個很酷的語言,因為你可以在很短的時間內(nèi)利用很少的代碼做很多事情，再加上正則表達(dá)式就更能體現(xiàn)其效果，下面這篇文章主要給大家介紹了關(guān)于python中通過預(yù)先編譯正則表達(dá)式提高效率的相關(guān)資料，需要的朋友可以參考下。2017-09-09
Python實現(xiàn)計算文件夾下.h和.cpp文件的總行數(shù)
這篇文章主要介紹了Python實現(xiàn)計算文件夾下.h和.cpp文件的總行數(shù),本文直接給出實現(xiàn)代碼,需要的朋友可以參考下2015-04-04
利用python在大量數(shù)據(jù)文件下刪除某一行的例子
今天小編就為大家分享一篇利用python在大量數(shù)據(jù)文件下刪除某一行的例子，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08
說到童年愛玩的電腦游戲,最國民的莫過于金山打字通，接著是掃雷、紅心大戰(zhàn)，而紅極一時的單機(jī)游戲當(dāng)屬《大富翁》。本文將通過Python的Pygame模塊制作"長沙版"的大富翁，需要的可以參考一下2022-02-02
這篇文章主要介紹了Pyhton多線程采集圖片方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-12-12
這篇文章主要介紹了python中類的一些方法分析,實例講述了Python中子類調(diào)用父類時繼承的方法問題,需要的朋友可以參考下2014-09-09
Python中元組的基礎(chǔ)介紹及常用操作總結(jié)
元組是一種不可變序列。元組變量的賦值要在定義時就進(jìn)行，這就像C語言中的const變量或是C++的引用，定義時賦值之后就不允許有修改。元組存在的意義是：元組在映射中可以作為鍵使用，因為要保證鍵的不變性。元組作為很多內(nèi)置函數(shù)和方法的返回值存在2021-09-09
這篇文章主要介紹了Python讀取CSV文件的四種方法， 使用 csv 模塊，使用 numpy 庫，使用pandas庫，使用標(biāo)準(zhǔn)庫中的 csv 模塊這四種方法，文章通過代碼示例介紹的非常詳細(xì),需要的朋友可以參考下2023-07-07
本教程中,我將會使用Django和Vue創(chuàng)建一個支持多文件上傳的文件上傳器,您可以在單個文件和多個文件上傳之間選擇在應(yīng)用中進(jìn)行上傳操作,文章通過代碼示例截殺的非常詳細(xì),需要的朋友可以參考下2023-11-11
關(guān)于Python的一些學(xué)習(xí)總結(jié)
這篇文章主要介紹了關(guān)于Python的一些總結(jié),希望自己以后在學(xué)習(xí)Python的過程中可以邊學(xué)習(xí)邊總結(jié)，就自己之前的學(xué)習(xí)先做以總結(jié)，之后將不斷總結(jié)更新2018-05-05