Python讀csv文件去掉一列后再寫(xiě)入新的文件實(shí)例
用了兩種方式解決該問(wèn)題，都是網(wǎng)上現(xiàn)有的解決方案。
場(chǎng)景說(shuō)明：
有一個(gè)數(shù)據(jù)文件，以文本方式保存，現(xiàn)在有三列user_id,plan_id,mobile_id。目標(biāo)是得到新文件只有mobile_id,plan_id。
解決方案
方案一：用python的打開(kāi)文件寫(xiě)文件的方式直接擼一遍數(shù)據(jù)，for循環(huán)內(nèi)處理數(shù)據(jù)并寫(xiě)入到新文件。
代碼如下：
def readwrite1( input_file,output_file):
f = open(input_file, 'r')
out = open(output_file,'w')
print (f)
for line in f.readlines():
a = line.split(",")
x=a[0] + "," + a[1]+"\n"
out.writelines(x)
f.close()
out.close()
方案二：用 pandas 讀數(shù)據(jù)到 DataFrame 再做數(shù)據(jù)分割，直接用 DataFrame 的寫(xiě)入功能寫(xiě)到新文件
代碼如下：
def readwrite2(input_file,output_file): date_1=pd.read_csv(input_file,header=0,sep=',') date_1[['mobile', 'plan_id']].to_csv(output_file, sep=',', header=True,index=False)
從代碼上看，pandas邏輯更清晰。
下面看下執(zhí)行的效率吧！
def getRunTimes( fun ,input_file,output_file):
begin_time=int(round(time.time() * 1000))
fun(input_file,output_file)
end_time=int(round(time.time() * 1000))
print("讀寫(xiě)運(yùn)行時(shí)間：",(end_time-begin_time),"ms")
getRunTimes(readwrite1,input_file,output_file) #直接擼數(shù)據(jù)
getRunTimes(readwrite2,input_file,output_file1) #使用dataframe讀寫(xiě)數(shù)據(jù)
讀寫(xiě)運(yùn)行時(shí)間： 976 ms
讀寫(xiě)運(yùn)行時(shí)間： 777 ms
input_file 大概有27萬(wàn)的數(shù)據(jù)，dataframe的效率比f(wàn)or循環(huán)效率還是要快一點(diǎn)的，如果數(shù)據(jù)量更大些，效果是否更明顯呢？
下面試下增加input_file記錄的數(shù)量試試，有如下結(jié)果
| input_file | readwrite1 | readwrite2 |
| 27W | 976 | 777 |
| 55W | 1989 | 1509 |
| 110W | 4312 | 3158 |
從上面測(cè)試結(jié)果來(lái)看,dataframe的效率提高大約30%左右。
以上這篇Python讀csv文件去掉一列后再寫(xiě)入新的文件實(shí)例就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
- python對(duì)csv文件追加寫(xiě)入列的方法
- python中csv文件的若干讀寫(xiě)方法小結(jié)
- Python把csv數(shù)據(jù)寫(xiě)入list和字典類型的變量腳本方法
- 利用Python如何將數(shù)據(jù)寫(xiě)到CSV文件中
- Python基于csv模塊實(shí)現(xiàn)讀取與寫(xiě)入csv數(shù)據(jù)的方法
- Python實(shí)現(xiàn)讀取及寫(xiě)入csv文件的方法示例
- python讀取與寫(xiě)入csv格式文件的示例代碼
- python使用writerows寫(xiě)csv文件產(chǎn)生多余空行的處理方法
相關(guān)文章
這篇文章主要介紹了Python 定義只讀屬性的實(shí)現(xiàn)方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-03-03
Python列表list解析操作示例【整數(shù)操作、字符操作、矩陣操作】
這篇文章主要介紹了Python列表list解析操作,結(jié)合實(shí)例形式分析了Python列表針對(duì)整數(shù)、字符及矩陣的解析操作實(shí)現(xiàn)技巧,需要的朋友可以參考下2017-07-07
Python是一種解釋型、面向?qū)ο?、?dòng)態(tài)數(shù)據(jù)類型的高級(jí)程序設(shè)計(jì)語(yǔ)言。通過(guò)本文給大家介紹Python檢測(cè)網(wǎng)站鏈接是否已存在的相關(guān)內(nèi)容，需要的朋友一起學(xué)習(xí)吧2016-04-04
Python3 log10()函數(shù)簡(jiǎn)單用法
在本文中我們給大家整理了關(guān)于Python3中l(wèi)og10()函數(shù)的基本用法和相關(guān)知識(shí)點(diǎn)，需要的可以學(xué)習(xí)下。2019-02-02
這篇文章主要介紹了python使用三角迭代計(jì)算圓周率PI的方法,實(shí)例分析了Python迭代算法的技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-03-03
這篇文章主要介紹了Python幾種繪制時(shí)間線圖的方法，Matplotlib 作為 Python 家族最為重要的可視化工具，其基本的 API 以及繪制流程還是需要掌握的2022-08-08
這篇文章主要以橫向?qū)Ρ确绞椒治鯬ython解析XML的四種方式，感興趣的小伙伴們可以參考一下2016-03-03
Python Pandas學(xué)習(xí)之?dāng)?shù)據(jù)離散化與合并詳解
Pandas是python的一個(gè)數(shù)據(jù)分析包，該工具是為解決數(shù)據(jù)分析任務(wù)而創(chuàng)建的。本文將通過(guò)示例詳細(xì)為大家介紹一下Pandas的數(shù)據(jù)離散化與合并，需要的可以參考一下2022-02-02
使用Python實(shí)現(xiàn)一個(gè)棧判斷括號(hào)是否平衡
棧（Stack）在計(jì)算機(jī)領(lǐng)域是一個(gè)被廣泛應(yīng)用的集合，棧是線性集合，訪問(wèn)都嚴(yán)格地限制在一段，叫做頂（top）。這篇文章主要介紹了使用Python實(shí)現(xiàn)一個(gè)棧判斷括號(hào)是否平衡,需要的朋友可以參考下2018-08-08
python 列表元素左右循環(huán)移動(dòng) 的多種解決方案
這篇文章主要介紹了python 列表元素左右循環(huán)移動(dòng) 的多種解決方案，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-03-03