強悍的Python讀取大文件的解決方案
更新時間：2019年02月16日 15:19:02 作者：Inside_Zhang
今天小編就為大家分享一篇關于強悍的Python讀取大文件的解決方案，小編覺得內容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧
Python 環(huán)境下文件的讀取問題，請參見拙文 Python基礎之文件讀取的講解
這是一道著名的 Python 面試題，考察的問題是，Python 讀取大文件和一般規(guī)模的文件時的區(qū)別，也即哪些接口不適合讀取大文件。
1. read() 接口的問題
f = open(filename, 'rb') f.read()
我們來讀取 1 個 nginx 的日至文件，規(guī)模為 3Gb 大小。read() 方法執(zhí)行的操作，是一次性全部讀入內存，顯然會造成：
MemoryError
...
也即會發(fā)生內存溢出。
2. 解決方案：轉換接口
- （1）readlines() ：讀取全部的行，構成一個 list，實踐表明還是會造成內存的問題；
for line in f.reanlines(): ...
- （2）readline()：每次讀取一行，
while True:
line = f.readline()
if not line:
break
- （3）read(1024)：重載，指定每次讀取的長度
while True:
block = f.read(1024)
if not block:
break
3. 真正 Pythonic 的方法
真正 Pythonci 的方法，使用 with 結構：
with open(filename, 'rb') as f:
for line in f:
<do something with the line>
對可迭代對象 f，進行迭代遍歷：for line in f，會自動地使用緩沖IO（buffered IO）以及內存管理，而不必擔心任何大文件的問題。
There should be one – and preferably only one – obvious way to do it.
Reference
How to read large file, line by line in python
總結
以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作具有一定的參考學習價值，謝謝大家對腳本之家的支持。如果你想了解更多相關內容請查看下面相關鏈接
相關文章
在Django項目中添加自定義模塊或應用來封裝雪花算法,步驟包括創(chuàng)建應用,編寫算法實現(xiàn)代碼至utils.py文件,及配置settings.py,此方法可方便在項目中隨處調用雪花算法,適用于需要唯一ID生成的場景2024-09-09
在Python生態(tài)中,PyQt憑借其跨平臺特性、豐富的控件庫和成熟的開發(fā)模式,成為桌面應用開發(fā)的首選框架之一,本文將以實戰(zhàn)為導向,通過具體案例拆解開發(fā)流程,幫助開發(fā)者快速掌握PyQt的核心技巧2025-09-09
這篇文章主要介紹了Python configparser模塊配置文件過程解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-03-03
這篇文章主要介紹了Python pymongo模塊常用操作,結合實例形式分析了pymongo模塊的導入、連接MongoDB數(shù)據(jù)以及插入、更新、刪除、查詢等操作相關實現(xiàn)技巧,需要的朋友可以參考下2018-09-09
對django 模型 unique together的示例講解
今天小編就為大家分享一篇對django 模型 unique together的示例講解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08
你是否曾經(jīng)想過在本地網(wǎng)絡上輕松地將電腦上的視頻分享給手機或平板電腦觀看？也許你下載了一部電影,想在客廳的智能電視上播放,卻不想費力地拷貝文件,今天,小編將給大家介紹如何使用Python構建一個簡單的本地視頻流媒體服務器,需要的朋友可以參考下2025-04-04
Python中的枚舉函數(shù)enumerate()的具體用法
本文主要介紹了Python中的枚舉函數(shù)enumerate()的具體用法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2022-06-06
這篇文章主要介紹了Python3爬蟲學習入門,簡單介紹了Python3爬蟲的功能、原理及使用爬蟲爬取知乎首頁相關操作技巧,需要的朋友可以參考下2018-12-12
python自帶的scatter函數(shù)參數(shù)中顏色和大小可以輸入列表進行控制,即可以讓不同的點有不同的顏色和大小,下面這篇文章主要給大家介紹了關于Python中scatter散點圖及顏色整理大全的相關資料,需要的朋友可以參考下2023-05-05
K近鄰法(KNN)相關知識總結以及如何用python實現(xiàn)
這篇文章主要介紹了K近鄰法(KNN)相關知識總結以及如何用python實現(xiàn)，幫助大家更好的利用python實現(xiàn)機器學習，感興趣的朋友可以了解下2021-01-01