如何解決pytorch訓(xùn)練過(guò)程中CPU內(nèi)存溢出問(wèn)題
pytorch訓(xùn)練過(guò)程中CPU內(nèi)存溢出問(wèn)題
期待了一晚上的結(jié)果，早上起來(lái)竟然發(fā)現(xiàn)CPU內(nèi)存溢出導(dǎo)致程序奔潰了，今天郁悶了一天。。。
經(jīng)查詢(xún)，內(nèi)存溢出的常見(jiàn)原因有：
- loss求和未加item()
- num_workers過(guò)大
- 大量使用list轉(zhuǎn)tensor
排查過(guò)程
找了好多原因，感覺(jué)上面的比較貼近，但是改了一堆，內(nèi)存還是蹭蹭往上漲。
后來(lái)調(diào)用了memory_profiler這個(gè)包，發(fā)現(xiàn)了
我的程序中上面這部分每輪都加了70多m，可能是這個(gè)循環(huán)導(dǎo)致的（另外排查了好多程序都不說(shuō)了。。。）
然后我把這個(gè)循環(huán)改成了下面這樣
觀察每組數(shù)據(jù)的memory占用，發(fā)現(xiàn)了很神奇的現(xiàn)象：
第一組數(shù)據(jù)沒(méi)怎么占內(nèi)存，后面重復(fù)調(diào)用同一個(gè)數(shù)據(jù)的時(shí)候內(nèi)存就開(kāi)始暴漲，到現(xiàn)在也沒(méi)整明白為什么會(huì)這樣。。
解決方法
后來(lái)調(diào)用了
from einops import rearrange
把數(shù)組維度修改了一下，再一起送進(jìn)網(wǎng)絡(luò)
可算解決了
pytorch內(nèi)存溢出，Ubuntu進(jìn)程killed問(wèn)題
pytorch顯存越來(lái)越多的一個(gè)原因
optimizer.zero_grad() loss.backward() optimizer.step() train_loss += loss
參考了別人的代碼發(fā)現(xiàn)那句loss一般是這樣寫(xiě)
loss_sum += loss.data[0]
這是因?yàn)檩敵龅膌oss的數(shù)據(jù)類(lèi)型是Variable。而PyTorch的動(dòng)態(tài)圖機(jī)制就是通過(guò)Variable來(lái)構(gòu)建圖。
主要是使用Variable計(jì)算的時(shí)候，會(huì)記錄下新產(chǎn)生的Variable的運(yùn)算符號(hào)，在反向傳播求導(dǎo)的時(shí)候進(jìn)行使用。
如果這里直接將loss加起來(lái)，系統(tǒng)會(huì)認(rèn)為這里也是計(jì)算圖的一部分，也就是說(shuō)網(wǎng)絡(luò)會(huì)一直延伸變大那么消耗的顯存也就越來(lái)越大。
用Tensor計(jì)算要寫(xiě)成：
train_loss += loss.item()
correct_total += torch.eq(predict, label_batch).sum().item() train_loss += loss.item()
當(dāng)需要將模型中變量提取出來(lái)參與計(jì)算時(shí)，需要使用** .item()**
總結(jié)
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了python繪制帶有色塊的折線圖，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-04-04
python光學(xué)仿真通過(guò)菲涅耳公式實(shí)現(xiàn)波動(dòng)模型
這篇文章主要介紹了python光學(xué)仿真通過(guò)菲涅耳公式實(shí)現(xiàn)波動(dòng)模型的示例解析原理，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步2021-10-10
在本篇文章里小編給大家整理的是一篇關(guān)于Python用函數(shù)思想完成哥德巴赫猜想代碼分析，有興趣的朋友們可以參考下。2021-06-06
python+selenium識(shí)別驗(yàn)證碼并登錄的示例代碼
本篇文章主要介紹了python+selenium識(shí)別驗(yàn)證碼并登錄的示例代碼，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-12-12
Python面向?qū)ο箢?lèi)繼承和組合實(shí)例分析
這篇文章主要介紹了Python面向?qū)ο箢?lèi)繼承和組合,結(jié)合實(shí)例形式分析了Python3面向?qū)ο罄^承的原理、用法以及繼承與組合相關(guān)使用技巧,需要的朋友可以參考下2018-05-05
本文介紹了Python異步SSH庫(kù)AsyncSSH的核心功能與應(yīng)用場(chǎng)景,相比傳統(tǒng)同步SSH工具Paramiko,AsyncSSH基于asyncio框架,能夠高效處理大規(guī)模并發(fā)連接,感興趣的可以了解一下2025-09-09
對(duì)python中return和print的一些理解
最近看到視頻中講到python中的print和return的區(qū)別，感到一些迷惑，所以自己上手實(shí)踐了一把，下面這篇文章主要給大家介紹了關(guān)于對(duì)python中return和print的一些理解，需要的朋友可以參考借鑒，下面來(lái)一起看看吧。2017-08-08
基于virtualenv創(chuàng)建python虛擬環(huán)境過(guò)程圖解
這篇文章主要介紹了基于virtualenv創(chuàng)建python虛擬環(huán)境過(guò)程圖解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-03-03
這篇文章主要介紹了python 序列解包的多種形式及用法解析，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2021-05-05
用Python selenium實(shí)現(xiàn)淘寶搶單機(jī)器人
今天給大家?guī)?lái)的是關(guān)于Python實(shí)戰(zhàn)的相關(guān)知識(shí),文章圍繞著用Python selenium實(shí)現(xiàn)淘寶搶單機(jī)器人展開(kāi),文中有非常詳細(xì)的介紹及代碼示例,需要的朋友可以參考下2021-06-06