簡單了解Python讀取大文件代碼實例
更新時間：2019年12月18日 11:24:27 作者：沉默的賭徒
這篇文章主要介紹了簡單了解Python讀取大文件代碼實例,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
這篇文章主要介紹了簡單了解Python讀取大文件代碼實例,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
通常對于大文件讀取及處理，不可能直接加載到內(nèi)存中，因此進行分批次小量讀取及處理
I、第一種讀取方式
一行一行的讀取，速度較慢
def read_line(path):
with open(path, 'r', encoding='utf-8') as fout:
line = fout.readline()
while line:
line = fout.readline()
print(line)
II、第二種讀取方式
設(shè)置每次讀取大小，從而完成多行快速讀取
def read_size(path):
with open(path, "r", encoding='utf-8') as fout:
while 1:
buffer = fout.read(8 * 1024 * 1024)
if not buffer:
break
print(buffer)
III、第三種讀取方式
使用itertools模塊,islice返回的是一個生成器，可以用list格式化
from itertools import islice
def read_itertools(path):
with open(path, 'r', encoding='utf-8') as fout:
list_gen = islice(fout, 0, 5) # 兩個參數(shù)分別表示開始行和結(jié)束行
for line in list_gen:
print(line)
完成
以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
今天小編就為大家分享一篇python多任務及返回值的處理方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
Python 數(shù)據(jù)處理更容易的12個輔助函數(shù)總結(jié)
Python的產(chǎn)生似乎就是專門用來處理數(shù)據(jù)的，順理成章的成為大數(shù)據(jù)的主流語言，本文介紹十二個函數(shù)輔助你更容易更便捷的用Python進行數(shù)據(jù)處理2021-11-11
Python中多進程處理的Process和Pool的用法詳解
在Python編程中,多進程是一種強大的并行處理技術(shù),Python提供了兩種主要的多進程處理方式：Process和Pool,本文將詳細介紹這兩種方式的使用,希望對大家有所幫助2024-02-02
本文主要介紹了Python中可以用三種方法判斷文件是否存在，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2022-06-06
anaconda升級sklearn版本的實現(xiàn)方法
這篇文章主要介紹了anaconda升級sklearn版本的實現(xiàn)方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-02-02
這篇文章主要介紹了PyCharm 2020 激活到 2100 年,本文圖文并茂給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-03-03
這篇文章主要介紹了django創(chuàng)建超級用戶過程解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-09-09
pytest有豐富的命令行選項,以滿足不同的需要,下面這篇文章主要給大家介紹了關(guān)于Python教程之pytest命令行方式運行的相關(guān)資料,需要的朋友可以參考下2021-12-12
這篇文章主要介紹了Python組合數(shù)據(jù)類型詳解，文章圍繞主題展開詳細的內(nèi)容介紹，具有一定的參考價值，需要的朋友可以參考一下2022-08-08
python爬蟲入門教程--優(yōu)雅的HTTP庫requests（二）
requests 實現(xiàn)了 HTTP 協(xié)議中絕大部分功能，它提供的功能包括 Keep-Alive、連接池、Cookie持久化、內(nèi)容自動解壓、HTTP代理、SSL認證等很多特性，下面這篇文章主要給大家介紹了python爬蟲入門中關(guān)于優(yōu)雅的HTTP庫requests的相關(guān)資料，需要的朋友可以參考下。2017-05-05