快捷導(dǎo)航

python分塊讀取大數(shù)據(jù),避免內(nèi)存不足的方法

更新時(shí)間：2018年12月10日 10:59:44 作者：水木小僧

今天小編就為大家分享一篇python分塊讀取大數(shù)據(jù),避免內(nèi)存不足的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧

如下所示：

def read_data(file_name):
 '''
 file_name:文件地址
 '''
 inputfile = open(file_name, 'rb') #可打開含有中文的地址
 data = pd.read_csv(inputfile, iterator=True)
 loop = True
 chunkSize = 1000 #一千行一塊
 chunks = []
 while loop:
  try:
   chunk = dcs.get_chunk(chunkSize)
   chunks.append(chunk)
  except StopIteration:
   loop = False
   print("Iteration is stopped.")
 data = pd.concat(chunks, ignore_index=True)
 #print(train.head())
 return data

以上這篇python分塊讀取大數(shù)據(jù),避免內(nèi)存不足的方法就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

pytorch神經(jīng)網(wǎng)絡(luò)從零開始實(shí)現(xiàn)多層感知機(jī)
這篇文章主要為大家介紹了pytorch神經(jīng)網(wǎng)絡(luò)從零開始實(shí)現(xiàn)多層感知機(jī)的示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步
2021-10-10
python安裝mysql-python簡(jiǎn)明筆記(ubuntu環(huán)境)
這篇文章主要介紹了python安裝mysql-python的方法,測(cè)試環(huán)境為ubuntu,較為詳細(xì)的記錄了安裝mysql-python過程中遇到的問題與解決方法,具有一定參考借鑒價(jià)值,需要的朋友可以參考下
2016-06-06
解讀pandas交叉表與透視表pd.crosstab()和pd.pivot_table()函數(shù)
這篇文章主要介紹了pandas交叉表與透視表pd.crosstab()和pd.pivot_table()函數(shù)的用法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
2023-09-09
Python中schedule模塊關(guān)于定時(shí)任務(wù)使用方法
這篇文章主要介紹了Python中schedule模塊關(guān)于定時(shí)任務(wù)使用方法，文章圍繞主題展開詳細(xì)的內(nèi)容介紹，具有一定的參考價(jià)值，需要的小伙伴可以參考一下
2022-05-05
一文帶你掌握Matplotlib圖形繪制
Matplotlib是一個(gè)基于Python的繪圖庫,它提供了一整套與Matlab相似的命令A(yù)PI,非常適合交互式繪圖,這篇文章主要給大家介紹了關(guān)于Matplotlib圖形繪制的相關(guān)資料,需要的朋友可以參考下
2023-09-09
python如何去除異常值和缺失值的插值
大家好，本篇文章主要講的是python如何去除異常值和缺失值的插值，感興趣的同學(xué)趕快來看一看吧，對(duì)你有幫助的話記得收藏一下
2022-01-01
python生成不重復(fù)隨機(jī)數(shù)和對(duì)list亂序的解決方法
下面小編就為大家分享一篇python生成不重復(fù)隨機(jī)數(shù)和對(duì)list亂序的解決方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2018-04-04
淺談matplotlib中FigureCanvasXAgg的用法
這篇文章主要介紹了淺談matplotlib中FigureCanvasXAgg的用法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2020-06-06
Python3爬蟲學(xué)習(xí)之應(yīng)對(duì)網(wǎng)站反爬蟲機(jī)制的方法分析
這篇文章主要介紹了Python3爬蟲學(xué)習(xí)之應(yīng)對(duì)網(wǎng)站反爬蟲機(jī)制的方法,結(jié)合實(shí)例形式分析了Python3模擬瀏覽器運(yùn)行來應(yīng)對(duì)反爬蟲機(jī)制的相關(guān)操作技巧,需要的朋友可以參考下
2018-12-12
Python網(wǎng)絡(luò)爬蟲技術(shù)高階用法
網(wǎng)絡(luò)爬蟲成為了自動(dòng)化數(shù)據(jù)抓取的核心工具,Python?擁有強(qiáng)大的第三方庫支持,在網(wǎng)絡(luò)爬蟲領(lǐng)域的應(yīng)用尤為廣泛,本文將深入探討?Python?網(wǎng)絡(luò)爬蟲的高階用法,包括處理反爬蟲機(jī)制、動(dòng)態(tài)網(wǎng)頁抓取、分布式爬蟲以及并發(fā)和異步爬蟲等技術(shù),幫助讀者掌握高級(jí)Python爬蟲技術(shù)
2024-12-12