解決python 使用openpyxl讀寫(xiě)大文件的坑
由于需要處理xlsx類型的文件，我使用了openpyxl來(lái)處理，然而文件比較大，大約有60多MB。讀文件的時(shí)候雖然慢了一點(diǎn)，但還是能夠讀出來(lái)，但是當(dāng)我想寫(xiě)入時(shí)卻報(bào)錯(cuò)了。
顯示設(shè)備沒(méi)有多余的空間，百度了一下，發(fā)現(xiàn)有不少關(guān)于openpyxl讀寫(xiě)大文件的問(wèn)題。總結(jié)來(lái)看，解決方案主要有以下兩種，當(dāng)然，我兩種都用上了。
手動(dòng)釋放內(nèi)存
del wb, ws gc.collect()
這一招還算有用，在讀完文件后可以看到內(nèi)存占用明顯下降了一點(diǎn)。
安裝lxml
使用命令·pip install lxml安裝依賴
這個(gè)依賴并非必須安裝的依賴，但是可以使openpyxl流式處理數(shù)據(jù)。
總之使用了以上兩種方案后，終于可以成功處理數(shù)據(jù)了。
補(bǔ)充：openpyxl讀取大文件的若干問(wèn)題
需要編寫(xiě)一個(gè)EXCEL文件對(duì)比工具
excel文件通常8MB,300張左右的表,每張表實(shí)際范圍為ZZ500.
使用openpyxl對(duì)表格進(jìn)行遍歷,完成兩個(gè)表之間的對(duì)比,找出公式不相同的單元格編程中遇到若干問(wèn)題
1、讀取時(shí)報(bào)錯(cuò),錯(cuò)誤代碼忘記了,原因是通過(guò)數(shù)組的方式讀取了一個(gè)不存在的數(shù)值
如 SS['AA'],這個(gè)數(shù)值沒(méi)有定義,因此報(bào)錯(cuò)(PHP直接返回空值),使用SS.get('AA',null)進(jìn)行修改
D:\Python34\Lib\site-packages\openpyxl\reader\style.py
164: format_code = builtin_formats.get(numFmtId,'General')
2、讀取時(shí)內(nèi)存占用過(guò)大
基本就是內(nèi)存占用了2G以上以后,程序就不動(dòng)了,原因是某些表格的表格范圍識(shí)別的非常大,最大可為ZZ65535
通過(guò)研究,代碼進(jìn)行了如下修改
1：使用X64版本,X64版本在運(yùn)行時(shí),可以運(yùn)行4G以內(nèi)內(nèi)存占用的程序,比2G大一倍,能夠完成大部分表格的讀取,如ZZ5000,但是遇到ZZ65535范圍的表格,內(nèi)存占用達(dá)到了4G+,也會(huì)導(dǎo)致程序停止運(yùn)行.
2：限制最大單元格遍歷范圍,最大限制為ZZ5000,能夠有效降低內(nèi)存占用
3：定時(shí)重新讀取EXCEL文件(如每對(duì)比30張表),釋放內(nèi)存,(Python內(nèi)存釋放真的很痛苦,全部是指針引用,A=B,DEL A;是不會(huì)釋放空間的,要DEL B才行).
4：雖然openpyxl讀取文件時(shí)有個(gè)只讀模式(性能模式),但是速度實(shí)在是太慢了.
通過(guò)代碼修改，現(xiàn)在完成文件對(duì)比所用的內(nèi)存通常在2G以內(nèi)
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教。
相關(guān)文章
使用Django實(shí)現(xiàn)文章與多個(gè)標(biāo)簽關(guān)聯(lián)的示例詳解
在構(gòu)建一個(gè)博客或內(nèi)容管理系統(tǒng)時(shí),經(jīng)常需要實(shí)現(xiàn)文章與標(biāo)簽的關(guān)聯(lián),在 Django 中,我們可以利用 ManyToManyField 來(lái)實(shí)現(xiàn)文章與標(biāo)簽的多對(duì)多關(guān)系,在本文中,我們將詳細(xì)探討如何使用 Django 模型實(shí)現(xiàn)文章與多個(gè)標(biāo)簽的關(guān)聯(lián),需要的朋友可以參考下2023-11-11
這篇文章主要介紹了python實(shí)現(xiàn)如何按日期歸檔文件，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2021-01-01
在Python中，我們會(huì)經(jīng)常聽(tīng)到上下文管理器，那么上下文管理器到底是干什么的，本文就來(lái)介紹一下，感興趣的小伙伴們可以參考一下2021-06-06
Ranorex通過(guò)Python將報(bào)告發(fā)送到郵箱的方法
這篇文章主要介紹了Ranorex通過(guò)Python將報(bào)告發(fā)送到郵箱的方法,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-01-01
python中numpy數(shù)組與list相互轉(zhuǎn)換實(shí)例方法
在本篇文章里小編給大家整理的是一篇關(guān)于python中numpy數(shù)組與list相互轉(zhuǎn)換實(shí)例方法，對(duì)此有興趣的朋友們可以學(xué)習(xí)下。2021-01-01
Python pytesseract驗(yàn)證碼識(shí)別庫(kù)用法解析
這篇文章主要介紹了Python pytesseract驗(yàn)證碼識(shí)別庫(kù)用法解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-06-06
基于Python的ModbusTCP客戶端實(shí)現(xiàn)詳解
這篇文章主要介紹了基于Python的ModbusTCP客戶端實(shí)現(xiàn)詳解，Modbus Poll和Modbus Slave是兩款非常流行的Modbus設(shè)備仿真軟件，支持Modbus RTU/ASCII和Modbus TCP/IP協(xié)議 ，經(jīng)常用于測(cè)試和調(diào)試Modbus設(shè)備，觀察Modbus通信過(guò)程中的各種報(bào)文,需要的朋友可以參考下2019-07-07
python井字棋游戲雖然看上去非常簡(jiǎn)陋,但是卻非常值得學(xué)習(xí),下面這篇文章主要給大家介紹了關(guān)于python入門游戲之井字棋的相關(guān)資料,需要的朋友可以參考下2021-11-11
Python request post上傳文件常見(jiàn)要點(diǎn)
這篇文章主要介紹了Python request post上傳文件常見(jiàn)要點(diǎn),文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-11-11
Linux下Python安裝完成后使用pip命令的詳細(xì)教程
這篇文章主要介紹了Linux下Python安裝完成后使用pip命令的詳細(xì)教程,本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2018-11-11