pytorch中 gpu與gpu、gpu與cpu 在load時相互轉(zhuǎn)化操作
問題描述
有時在加載已訓(xùn)練好的模型時，會出現(xiàn) out of memory 的錯誤提示，但仔細(xì)檢測使用的GPU卡并沒有再用且內(nèi)存也沒有超出。
經(jīng)查閱發(fā)現(xiàn)原來是訓(xùn)練模型時使用的GPU卡和加載時使用的GPU卡不一樣導(dǎo)致的。個人感覺，因為pytorch的模型中是會記錄有GPU信息的，所以有時使用不同的GPU加載時會報錯。
解決方法
gpu之間的相互轉(zhuǎn)換。即，將訓(xùn)練時的gpu卡轉(zhuǎn)換為加載時的gpu卡。
torch.load('modelparameters.pth', map_location={'cuda:1':'cuda:0'}) # gpu 1 --> gpu 0
當(dāng)然，你也可以直接將加載模型時使用的gpu卡改為和訓(xùn)練時的一樣。但在多人使用一個服務(wù)器時，你想用的gpu卡已被使用，就需按上面方法轉(zhuǎn)換gpu。
拓展
cpu --> cpu 或 gpu --> gpu
checkpoint = torch.load('modelparameters.pth')
model.load_state_dict(checkpoint)
cpu --> gpu 0
torch.load('modelparameters.pth', map_location=lambda storage, loc: storage.cuda(0))
gpu --> cpu
torch.load('modelparameters.pth', map_location=lambda storage, loc: storage)
gpu 1 --> gpu 0
torch.load('modelparameters.pth', map_location={'cuda:1':'cuda:0'})
補充知識：pytorch model.cuda()花費時間很長
如果pytorch在進(jìn)行model.cuda(）操作需要花費的時間很長，長到你懷疑GPU的速度了，那就是不正常的。
如果你用的pytorch版本是0.3.0，升級到0.3.1就好了！
以上這篇pytorch模型載入之gpu和cpu互轉(zhuǎn)操作就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python里的merger函數(shù)是數(shù)據(jù)分析工作中最常見的函數(shù)之一，類似于MySQL中的join函數(shù)和Excel中的vlookup函數(shù)。本文將通過一些簡單的實力和大家聊聊Merge的使用，需要的可以了解一下2023-02-02
Django數(shù)據(jù)映射(一對一,一對多,多對多)
本文主要介紹了Django數(shù)據(jù)映射(一對一,一對多,多對多)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-08-08
這篇文章主要介紹了Python使用pyexecjs代碼實例解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-07-07
使用Pytorch訓(xùn)練two-head網(wǎng)絡(luò)的操作
這篇文章主要介紹了使用Pytorch訓(xùn)練two-head網(wǎng)絡(luò)的操作，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-05-05
Python實現(xiàn)Tab自動補全和歷史命令管理的方法
這篇文章主要介紹了Python實現(xiàn)Tab自動補全和歷史命令管理的方法,實例分析了tab自動補全的實現(xiàn)技巧,具有一定參考借鑒價值,需要的朋友可以參考下2015-03-03
在本篇文章里小編給大家整理了關(guān)于python range實例用法，有需要的朋友們可以學(xué)習(xí)參考下2020-02-02
pyqt 實現(xiàn)為長內(nèi)容添加滑輪 scrollArea
今天小編就為大家分享一篇pyqt 實現(xiàn)為長內(nèi)容添加滑輪 scrollArea，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-06-06
在本篇內(nèi)容里小編給大家整理了關(guān)于python中類的屬性知識點以及使用方法介紹，需要的朋友們參考下。2018-11-11
這篇文章主要介紹了python中yield的用法詳解,本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-01-01
Python數(shù)據(jù)分析之分析千萬級淘寶數(shù)據(jù)
網(wǎng)購已經(jīng)成為人們生活不可或缺的一部分，本次項目基于淘寶app平臺數(shù)據(jù)，通過相關(guān)指標(biāo)對用戶行為進(jìn)行分析，從而探索用戶相關(guān)行為模式。感興趣的可以學(xué)習(xí)一下2022-03-03