Pytorch保存模型用于測(cè)試和用于繼續(xù)訓(xùn)練的區(qū)別詳解
更新時(shí)間：2020年01月10日 16:27:24 作者：魚丸粗面233
今天小編就為大家分享一篇Pytorch保存模型用于測(cè)試和用于繼續(xù)訓(xùn)練的區(qū)別詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
保存模型
保存模型僅僅是為了測(cè)試的時(shí)候，只需要
torch.save(model.state_dict, path)
path 為保存的路徑
但是有時(shí)候模型及數(shù)據(jù)太多,難以一次性訓(xùn)練完的時(shí)候,而且用的還是 Adam優(yōu)化器的時(shí)候, 一定要保存好訓(xùn)練的優(yōu)化器參數(shù)以及epoch
state = { 'model': model.state_dict(), 'optimizer':optimizer.state_dict(), 'epoch': epoch }
torch.save(state, path)
因?yàn)檫@里
def adjust_learning_rate(optimizer, epoch):
lr_t = lr
lr_t = lr_t * (0.3 ** (epoch // 2))
for param_group in optimizer.param_groups:
param_group['lr'] = lr_t
學(xué)習(xí)率是根據(jù)epoch變化的, 如果不保存epoch的話,基本上每次都從epoch為0開始訓(xùn)練,這樣學(xué)習(xí)率就相當(dāng)于不變了!!
恢復(fù)模型
恢復(fù)模型只用于測(cè)試的時(shí)候,
model.load_state_dict(torch.load(path))
path為之前存儲(chǔ)模型時(shí)的路徑
但是如果是用于繼續(xù)訓(xùn)練的話,
checkpoint = torch.load(path) model.load_state_dict(checkpoint['model']) optimizer.load_state_dict(checkpoint['optimizer']) start_epoch = checkpoint['epoch']+1
依次恢復(fù)出模型 優(yōu)化器參數(shù)以及epoch
以上這篇Pytorch保存模型用于測(cè)試和用于繼續(xù)訓(xùn)練的區(qū)別詳解就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python實(shí)現(xiàn)的破解字符串找茬游戲算法示例
這篇文章主要介紹了Python實(shí)現(xiàn)的破解字符串找茬游戲算法,簡單分析了找茬游戲的原理,并結(jié)合具體實(shí)例形式分析了Python實(shí)現(xiàn)破解找茬游戲的相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下2017-09-09
這篇文章主要介紹了Python如何使用27行代碼繪制星星圖,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-07-07
這篇文章主要介紹了Python開發(fā).exe小工具的詳細(xì)步驟,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-01-01
Python中Jupyter notebook快捷鍵總結(jié)
在本篇文章里小編給大家整理的是一篇關(guān)于Python中Jupyter notebook快捷鍵總結(jié)內(nèi)容，有興趣的朋友們可以學(xué)習(xí)下。2021-04-04
使用Python實(shí)現(xiàn)不同需求的排行榜功能
這篇文章主要為大家介紹了Python實(shí)現(xiàn)不同需求的排行榜功能,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2024-01-01
今天小編就為大家分享一篇PyTorch的SoftMax交叉熵?fù)p失和梯度用法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-01-01
這篇文章主要為大家詳細(xì)介紹了Python實(shí)現(xiàn)打乒乓小游戲，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-09-09
Python 內(nèi)置函數(shù)memoryview(obj)的具體用法
本篇文章主要介紹了Python 內(nèi)置函數(shù)memoryview(obj)的具體用法，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-11-11
這篇文章主要介紹了Pytorch中的gather使用方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2021-05-05
使用Python 統(tǒng)計(jì)文件夾內(nèi)所有pdf頁數(shù)的小工具
這篇文章主要介紹了Python 統(tǒng)計(jì)文件夾內(nèi)所有pdf頁數(shù)的小工具,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-03-03