利用pandas向一個csv文件追加寫入數(shù)據(jù)的實現(xiàn)示例
更新時間：2020年04月23日 10:56:15 作者：數(shù)據(jù)之美ya
這篇文章主要介紹了利用pandas向一個csv文件追加寫入數(shù)據(jù)的實現(xiàn)示例，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
我們越來越多的使用pandas進行數(shù)據(jù)處理，有時需要向一個已經存在的csv文件寫入數(shù)據(jù)，傳統(tǒng)的方法之前我也有些過，向txt，excel文件寫入數(shù)據(jù)，傳送門：Python將二維列表（list）的數(shù)據(jù)輸出（TXT，Excel）
pandas to_csv()只能在新文件寫數(shù)據(jù)？當然不是！
pandas to_csv() 是可以向已經存在的具有相同結構的csv文件增加dataframe數(shù)據(jù)。
df.to_csv('my_csv.csv', mode='a', header=False)
to_csv()方法mode默認為w，我們加上mode='a'，便可以追加寫入數(shù)據(jù)。
pandas讀寫文件，處理數(shù)據(jù)的效率太高了，所以我們盡量使用pandas的進行輸出。
下面讓我們來看一下示例
# -*- coding:utf-8 -*-
import os
import time
import pandas as pd
from multiprocessing import Pool
def merge(filename):
return pd.read_csv('./fun_data/'+filename)
if __name__ == "__main__":
file_list = os.listdir('./fun_data')
e1 = time.time()
pool = Pool(20)
result = pool.map(merge,file_list)
pool.close()
pool.join()
e2 = time.time()
print(e2 - e1)
for i in result:
i.to_csv('./static.csv',mode='a',encoding='utf-8',header=False,index=False)
e3 = time.time()
print(e3-e2)
到此這篇關于利用pandas向一個csv文件追加寫入數(shù)據(jù)的實現(xiàn)示例的文章就介紹到這了,更多相關pandas csv追加寫入內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
Python?Flask實現(xiàn)快速構建Web應用的方法詳解
Flask是一個輕量級的Web服務器網(wǎng)關接口（WSGI）web應用框架，本文將和大家一起詳細探討一下Python?Flask?Web服務，需要的小伙伴可以學習一下2023-06-06
python3操作redis實現(xiàn)List列表實例
本文主要介紹了python3操作redis實現(xiàn)List列表實例，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-08-08
這篇文章主要介紹了如何用python繪制桃花樹，幫助大家更好的使用python處理圖片，本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-08-08
這篇文章主要介紹了django中celery的定時任務使用方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-09-09
這篇文章主要介紹了Python?ttkbootstrap的介紹與使用,本文僅僅簡單介紹了ttkbootstrap的使用，而ttkbootstrap可以使我們創(chuàng)建一個簡單用戶圖形界面，并對其可以做一些操作，需要的朋友可以參考下2023-03-03
今天小編就為大家分享一篇python-opencv顏色提取分割方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12
這篇文章主要介紹的是基于Python 優(yōu)化 MUI標題欄，一個特色鮮明MUI界面無疑是能夠吸引用戶的關鍵之一，這利用css和JavaScript可以很快進行實現(xiàn)，但是同時對于初學者來說也是困難的，下面文章就來學習幾個簡單的小技巧實現(xiàn)頁面美化吧,需要的朋友可以參考一下2021-11-11
這篇文章主要介紹了python isinstance函數(shù)用法詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-02-02
這篇文章主要介紹了python私有屬性和方法的用法,實例分析了python私有屬性和方法的原理及具體使用技巧,具有一定參考借鑒價值,需要的朋友可以參考下2015-01-01
在這篇文章中，我們將學習如何使用multiprocessing、joblib和tqdm?Python包減少大文件的處理時間。這是一個簡單的教程，可以適用于任何文件、數(shù)據(jù)庫、圖像、視頻和音頻，感興趣的可以了解一下2022-07-07