<span style="font-size:14px;"># coding=utf-8
#出現(xiàn)了中文亂碼的問題，于是我無腦utf-8 。希望后期的學習可以能理解
import os
import os.path
import re
import sys
import codecs
reload(sys)
sys.setdefaultencoding('utf-8')

#這里放著你要操作的文件夾名稱
path = 'E:\\get_key\\'

#把e:\get_key\目錄下的文件名全部獲取保存在files中
files = os.listdir(path.decode('utf-8'))

#用set可以很好的去重，在數(shù)據(jù)處理的時候經(jīng)常會被使用到。這里做初始化
datas = set()

for file in files :
 #準確獲取一個txt的位置，利用字符串的拼接
 txt_path = 'E:\\get_key\\'+file.decode('utf-8')
 #把結(jié)果保存了在contents中
 contents = codecs.open(txt_path.decode('utf-8'),'r',encoding='utf-8')
 
 #datas的數(shù)據(jù)清空 
 datas.clear()
 
 #把數(shù)據(jù)add到datas中，可以去重
 for content in contents:
  print(content.decode('utf-8'))
  datas.add(content.decode('utf-8'))

 #去重后新的文件保存的路徑
 new_txt_path = 'E:\\get_key3\\' + file.decode('utf-8')
 unique_keywords = codecs.open(new_txt_path.decode('utf-8'), 'w', encoding='utf-8')

 #把datas里的數(shù)據(jù)輸出到新生成的txt中
 for data in datas:
  unique_keywords.write(data+"\n")

 #釋放資源
 unique_keywords.close()</span>