python去除文件中重復(fù)的行實例
更新時間：2018年06月29日 14:51:40 作者：yizhen_nlp
今天小編就為大家分享一篇python去除文件中重復(fù)的行實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
python去除文件中重復(fù)的行，我們可以設(shè)置一個一個空list，res_list，用來加入沒有出現(xiàn)過的字符行！
如果出現(xiàn)在res_list，我們就認為該行句子已經(jīng)重復(fù)了，可以再加入到記錄重復(fù)句子的list中。
如下代碼：
# -*- coding: UTF-8 -*-
#程序功能是為了完成判斷文件中是否有重復(fù)句子
#并將重復(fù)句子打印出來
res_list = []
#f = open('F:/master/master-work/code_of_graduate/LTP_data/raw_plain.txt','r')
f = open('F:/master/master-work/code_of_graduate/chu_li_shuju/ldc-weibo-train-res.txt','r')
res_dup = []
index = 0
file_dul = open('F:/master/master-work/code_of_graduate/chu_li_shuju/ldc-weibo-train-dul.txt', 'w')
for line in f.readlines():
index = index + 1
if line in res_list:
temp_str = ""
temp_str = temp_str + str(index) #要變?yōu)閟tr才行
temp_line = ''.join(line)
temp_str = temp_str+temp_line
#最終要變?yōu)閟tr類型
file_dul.write(temp_str); #將重復(fù)的存入到文件中
else:
res_list.append(line)
以上這篇python去除文件中重復(fù)的行實例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了Python 如何實現(xiàn)訪問者模式，文中講解非常細致，代碼幫助大家更好的理解和學(xué)習，感興趣的朋友可以了解下2020-07-07
for循環(huán)用于迭代序列（即列表、元組、字典、集合或字符串）。for 語句的寫法如從對象開始按順序給變量賦值，元素個數(shù)重復(fù)這個過程。對象可以是列表（數(shù)組）、元組、字符串等。本文將詳細講解Python中for定義迭代方法詳解，需要的可以了解一下2022-04-04
BatchNorm2d原理、作用及pytorch中BatchNorm2d函數(shù)的參數(shù)使用
這篇文章主要介紹了BatchNorm2d原理、作用及pytorch中BatchNorm2d函數(shù)的參數(shù)使用方式，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-12-12
Python中文分詞庫jieba(結(jié)巴分詞)詳細使用介紹
這篇文章主要介紹了Python中文分詞庫jieba(結(jié)巴分詞)提取詞,加載詞,修改詞頻,定義詞庫詳細使用介紹,需要的朋友可以參考下2022-04-04
Python設(shè)置matplotlib.plot的坐標軸刻度間隔以及刻度范圍
這篇文章主要介紹了Python設(shè)置matplotlib.plot的坐標軸刻度間隔以及刻度范圍，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-06-06
今天小編就為大家分享一篇在matplotlib的圖中設(shè)置中文標簽的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12
這篇文章主要介紹了Jetson?NX?配置?pytorch的相關(guān)知識，本文給大家介紹的非常詳細，對大家的學(xué)習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2023-03-03
這篇文章主要介紹了python安裝gdal的兩種方法,每種方法給大家介紹的都非常詳細，具有一定的參考借鑒價值，需要的朋友可以參考下2019-10-10
這篇文章主要為大家詳細介紹了python實現(xiàn)銀行賬戶系統(tǒng)，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-02-02
這篇文章主要介紹了Django啟動時找不到mysqlclient問題解決方案,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習或者工作具有一定的參考學(xué)習價值,需要的朋友可以參考下2020-11-11