python 快速把超大txt文件轉存為csv的實例
更新時間：2018年10月26日 15:11:45 作者：nudt_qxx
今天小編就為大家分享一篇python 快速把超大txt文件轉存為csv的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
今天項目有個需求，就是把txt文件轉為csv，txt之間是空格隔開，轉為csv時需要把空格轉換為逗號，網上找的一個版本，只需要三行代碼，特別犀利：
import numpy as np
import pandas as pd
data_txt = np.loadtxt('datas_train.txt')
data_txtDF = pd.DataFrame(data_txt)
data_txtDF.to_csv('datas_train.csv',index=False)
上述的datas_train.txt只有不到100MB，560W行數(shù)據(jù)，三分鐘之內轉換完畢。
然后我換了一個5600W行共1.2G的txt文本，用上述代碼轉換，電腦直接卡死了。
原因在于上述代碼會把全部的txt加載進內存，然后再轉換，這就會造成電腦內存耗盡。
然后就想到了切割數(shù)據(jù)的辦法，具體實現(xiàn)如下：
import numpy as np
import pandas as pd
train_data = pd.read_table('big_data.txt',iterator=True,header=None)
while True:
try:
chunk = train_data.get_chunk(5600000)
chunk.columns = ['user_id','spu_id','buy_or_not','date']
chunk.to_csv('big_data111.csv', mode='a',header=False,index = None)
except Exception as e:
break
這里我把數(shù)據(jù)分成了小塊，每塊數(shù)據(jù)有560W行，分11次加載就能全部加載完了，速度也很快，總共花了5分鐘左右。
注意，get_chunk()里面的參數(shù)表示文件的行數(shù)，而非字節(jié)數(shù)。
以上這篇python 快速把超大txt文件轉存為csv的實例就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了Python基礎之條件控制操作,結合實例形式分析了Python使用if語句進行條件控制的相關操作技巧與相關注意事項,需要的朋友可以參考下2019-03-03
今天小編就為大家分享一篇pandas中去除指定字符的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05
很多人不理解“元編程”是個什么東西,關于它也沒有一個十分準確的定義.這篇文章要說的是Python里的元編程,實際上也不一定就真的符合“元編程”的定義.只不過我無法找到一個更準確的名字來代表這篇文章的主題,所以就借了這么一個名號,需要的朋友可以參考下2021-05-05
這篇文章主要介紹了Python同時迭代多個序列的方法，文中講解非常細致，代碼幫助大家更好的理解和學習，感興趣的朋友可以了解下2020-07-07
這篇文章主要介紹了tkinter模塊和ttk模塊的區(qū)別,以及如何在tkinter窗口中設計組件和進行布局管理的相關資料,文中通過代碼及圖文介紹的非常詳細,需要的朋友可以參考下2024-11-11
python實現(xiàn)信號時域統(tǒng)計特征提取代碼
今天小編就為大家分享一篇python實現(xiàn)信號時域統(tǒng)計特征提取代碼，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02
在本篇文章里小編給大家整理了一篇關于celery在python爬蟲中定時操作實例講解內容，需要的朋友們可以參考下。2020-11-11
Python selenium爬蟲實現(xiàn)定時任務過程解析
這篇文章主要介紹了Python selenium爬蟲實現(xiàn)定時任務過程解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-06-06
python Autopep8實現(xiàn)按PEP8風格自動排版Python代碼
這篇文章主要介紹了python Autopep8實現(xiàn)按PEP8風格自動排版Python代碼，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-03-03
Python?是一種多用途、功能強大的編程語言,具有廣泛的特性和能力,在本文中,我們將探討?15?個高級?Python?技巧,它們有助于改善您的開發(fā)工作流程,并使您的代碼更加高效,更加?Pythonic2023-12-12