python3.4.3下逐行讀入txt文本并去重的方法
讀寫文件時(shí)應(yīng)注意的問題包括：
1.字符編碼
2.操作完成即時(shí)關(guān)閉文件描述符
3.代碼兼容性
幾種方法：
#!/bin/python3
original_list1=[" "]
original_list2=[" "]
original_list3=[" "]
original_list4=[" "]
newlist1=[" "]
newlist2=[" "]
newlist3=[" "]
newlist4=[" "]
newtxt1=""
newtxt2=""
newtxt3=""
newtxt4=""
#first way to readline
f = open("duplicate_txt.txt","r+") # 返回一個(gè)文件對(duì)象
line = f.readline() # 調(diào)用文件的 readline()方法
while line:
original_list1.append(line)
line = f.readline()
f.close()
#use "set()" remove duplicate str in the list
# in this way,list will sort randomly
newlist1 = list(set(original_list1))
#newlist1 = {}.fromkeys(original_list1).keys() #faster
#rebuild a new txt
newtxt1="".join(newlist1)
f1 = open("noduplicate1.txt","w")
f1.write(newtxt1)
f1.close()
###################################################################
#second way to readline
for line in open("duplicate_txt.txt","r+"):
original_list2.append(line)
newlist2 = list(set(original_list2))
newlist2.sort(key=original_list2.index) #sort
#newlist2 = sorted(set(original_list2),key=l1.index) #other way
newtxt2="".join(newlist2)
f2 = open("noduplicate2.txt","w")
f2.write(newtxt2)
f2.close()
###################################################################
#third way to readline
f3 = open("duplicate_txt.txt","r")
original_list3 = f3.readlines() #讀取全部內(nèi)容 ，并以列表方式返回
for i in original_list3: #遍歷去重
if not i in newlist3:
newlist3.append(i)
newtxt3="".join(newlist3)
f4 = open("noduplicate3.txt","w")
f4.write(newtxt3)
f4.close()
###################################################################
#fourth way
f5 = open('duplicate_txt.txt',"r+")
try:
original_list4 = f5.readlines()
[newlist4.append(i) for i in original_list4 if not i in newlist4]
newtxt4="".join(newlist4)
f6 = open("noduplicate4.txt","w")
f6.write(newtxt4)
f6.close()
finally:
f5.close()
結(jié)果：
去重前：
去重后（無序）：
去重后（有序）：
總結(jié)
這段下程序涉及文件讀寫操作以及鏈表List的操作，文章開頭提到的幾個(gè)問題，由于并沒有使用中文，所以不關(guān)心編碼，但這里還是要提一提:
f = open("test.txt"，"w")
f.write(u"你好")
上面這段代碼如果在python2中運(yùn)行會(huì)報(bào)錯(cuò)
報(bào)錯(cuò)是因?yàn)槌绦驔]辦法直接保存unicode字符串，要經(jīng)過編碼轉(zhuǎn)換成str類型的二進(jìn)制字節(jié)序列才可以保存。
write（）方法會(huì)自動(dòng)編碼轉(zhuǎn)換，默認(rèn)使用ascii編碼格式，而ascii不能處理中文，所以出現(xiàn)UnicodeEncodeError。
正確方式是在調(diào)用write（）方法前，手動(dòng)格式轉(zhuǎn)換，用utf-8或者gbk轉(zhuǎn)換成str。
f = open("test.txt"，"w")
text=u"你好"
text=text.encode(encoding='utf-8')
f.write(text)
關(guān)于close()問題:
不關(guān)閉會(huì)有什么影響呢？操作完成后，不關(guān)閉文件，會(huì)對(duì)系統(tǒng)資源造成浪費(fèi)，因?yàn)橄到y(tǒng)可打開的文件描述符數(shù)量是有限的。Linux是65535。
一般來說close之后就OK了，但是也會(huì)存在特殊情況，比如說，在調(diào)用open（）函數(shù)時(shí)就已經(jīng)發(fā)生錯(cuò)誤，權(quán)限不足，調(diào)用close（）肯定報(bào)錯(cuò)。還有一種是在write（）時(shí)，如果磁盤空間不足，報(bào)錯(cuò)，close（）就沒有機(jī)會(huì)執(zhí)行了。正確的做法就是使用 try except 對(duì)異常進(jìn)行捕獲：
f = open("test.txt"，"w")
try:
text=u"你好"
text=text.encode(encoding='utf-8')
f.write(text)
except: IOError as e:
print("oops,%s"%e.args[0])
finally:
f.close()
更優(yōu)雅的寫法是用 with…as。
with open("test.txt"，"w") as f:
text=u"你好"
f.write(text.encode(encoding='utf-8'))
文件對(duì)象實(shí)現(xiàn)上下午管理器協(xié)議，程序進(jìn)入with語句時(shí)，會(huì)把文件對(duì)象賦值給變量f，在程序退出with時(shí)會(huì)自動(dòng)的調(diào)用close()方法。
關(guān)于兼容性問題:
python2和python3的open（）函數(shù)是不一樣的，后者可以在函數(shù)中指定字符編碼格式。
如何解決python2和python3的兼容open（）問題呢？
使用io模塊下的open（）函數(shù)，python2中的io.open等價(jià)與python3的open函數(shù)
from io import open
with open("test.txt"，"w",encoding='utf-8') as f:
f.write(u"你好")
以上這篇python3.4.3下逐行讀入txt文本并去重的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
實(shí)操Python爬取覓知網(wǎng)素材圖片示例
大家好，本篇文章介紹的是實(shí)操Python爬取覓知網(wǎng)素材圖片示例，感興趣的朋友趕快來看一看吧，對(duì)你有用的話記得收藏起來，方便下次瀏覽2021-11-11
本文的主要內(nèi)容是 Python 的條件和循環(huán)語句以及與它們相關(guān)的部分. 我們會(huì)深入探討if, while, for以及與他們相搭配的else,elif,break,continue和pass語句.2014-10-10
本文主要介紹了Pandas div()函數(shù)的具體使用，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03
一文教會(huì)你使用win10實(shí)現(xiàn)電腦的定時(shí)任務(wù)執(zhí)行
這篇文章主要介紹了一文教會(huì)你使用win10實(shí)現(xiàn)電腦的定時(shí)任務(wù)執(zhí)行,利用Windows任務(wù)計(jì)劃程序創(chuàng)建定時(shí)執(zhí)行自定義腳本的步驟,包括配置環(huán)境、編寫腳本、新建任務(wù)文件夾、設(shè)置觸發(fā)器、編輯任務(wù)信息以及手動(dòng)運(yùn)行測試,需要的朋友可以參考下2024-09-09
Python使用Selenium時(shí)遇到網(wǎng)頁＜body＞劃不動(dòng)的問題解決方法
如果在使用 Selenium 時(shí)遇到網(wǎng)頁的 <body> 劃不動(dòng)的問題,這通常是因?yàn)轫撁娴臐L動(dòng)機(jī)制（例如,可能使用了一個(gè)具有固定高度的容器或自定義的滾動(dòng)條）導(dǎo)致無法通過簡單的 JavaScript 實(shí)現(xiàn)滾動(dòng),可以通過以下方法來解決該問題2024-10-10
一文讓你徹底搞懂Python中__str__和__repr__
這篇文章主要介紹了Python中的__str__和__repr__的異同，__str__和__repr__是基本的內(nèi)置方法,文中有詳細(xì)的代碼示例，感興趣的同學(xué)可以參考閱讀下2023-05-05
es+flask搜索小項(xiàng)目實(shí)現(xiàn)分頁+高亮的示例代碼
本文主要介紹了es+flask搜索小項(xiàng)目實(shí)現(xiàn)分頁+高亮的示例代碼，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-01-01
python+opencv實(shí)現(xiàn)車道線檢測
這篇文章主要為大家詳細(xì)介紹了python+opencv實(shí)現(xiàn)車道線檢測，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-02-02
Python中的enumerate函數(shù)使用方法詳解
enumerate()是python的內(nèi)置函數(shù),適用于python2.x和python3.x,這篇文章主要給大家介紹了關(guān)于Python中的enumerate函數(shù)使用方法的相關(guān)資料,文中通過代碼介紹的非常詳細(xì),需要的朋友可以參考下2024-06-06
今天小編就為大家分享一篇對(duì)python中Librosa的mfcc步驟詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-01-01