PyTorch dropout設(shè)置訓(xùn)練和測試模式的實現(xiàn)
看代碼吧~
class Net(nn.Module): … model = Net() … model.train() # 把module設(shè)成訓(xùn)練模式，對Dropout和BatchNorm有影響 model.eval() # 把module設(shè)置為預(yù)測模式，對Dropout和BatchNorm模塊有影響
補(bǔ)充：Pytorch遇到的坑——訓(xùn)練模式和測試模式切換
由于訓(xùn)練的時候Dropout和BN層起作用，每個batch BN層的參數(shù)不一樣，dropout在訓(xùn)練時隨機(jī)失效點具有隨機(jī)性，所以訓(xùn)練和測試要區(qū)分開來。
使用時切記要根據(jù)實際情況切換：
model.train() model.eval()
補(bǔ)充：Pytorch在測試與訓(xùn)練過程中的驗證結(jié)果不一致問題
引言
今天在使用Pytorch導(dǎo)入此前保存的模型進(jìn)行測試，在過程中發(fā)現(xiàn)輸出的結(jié)果與驗證結(jié)果差距甚大，經(jīng)過排查后發(fā)現(xiàn)是forward與eval()順序問題。
現(xiàn)象
此前的錯誤代碼是
input_cpu = torch.ones((1, 2, 160, 160))
target_cpu =torch.ones((1, 2, 160, 160))
target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
model.set_input_2(input_gpu, target_gpu)
model.eval()
model.forward()
應(yīng)該改為
input_cpu = torch.ones((1, 2, 160, 160))
target_cpu =torch.ones((1, 2, 160, 160))
target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
model.set_input_2(input_gpu, target_gpu)
# 先forward再eval
model.forward()
model.eval()
當(dāng)時有個疑慮，為什么要在forward后面再加eval()，查了下相關(guān)資料，主要是在BN層以及Dropout的問題。當(dāng)使用eval()時，模型會自動固定BN層以及Dropout，選取訓(xùn)練好的值，否則則會取平均，可能導(dǎo)致生成的圖片顏色失真。
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
- PyTorch使用Tricks:Dropout,R-Dropout和Multi-Sample?Dropout方式
- Pytorch?nn.Dropout的用法示例詳解
- Python深度學(xué)習(xí)pytorch神經(jīng)網(wǎng)絡(luò)Dropout應(yīng)用詳解解
- Pytorch之如何dropout避免過擬合
- pytorch Dropout過擬合的操作
- 淺談pytorch中的dropout的概率p
- PyTorch 實現(xiàn)L2正則化以及Dropout的操作
- pytorch 實現(xiàn)在測試的時候啟用dropout
- pytorch 中nn.Dropout的使用說明
- pytorch中Dropout的具體用法
相關(guān)文章
Python腳本實現(xiàn)調(diào)用手機(jī)攝像頭
這篇文章主要為大家詳細(xì)介紹了Python如何通過,腳本實現(xiàn)調(diào)用手機(jī)攝像頭,這樣就能隨時隨地用電腦偷偷看看男朋友都在干啥了,感興趣的小伙伴可以了解下2025-03-03
這篇文章主要介紹了在Flask使用TensorFlow的幾個常見錯誤及解決,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-01-01
PyCharm環(huán)境都已經(jīng)配置成了UTF-8編碼,控制臺打印中文也不會出現(xiàn)亂碼,但報錯堆棧信息中如果有中文會出現(xiàn)中文亂碼,遇到這樣的問題如何解決呢,下面小編給大家?guī)砹薖yCharm控制臺堆棧亂碼問題解決方案,感興趣的朋友一起看看吧2023-12-12
在本篇文章里小編給大家整理了關(guān)于python爬取招聘要求等信息實例內(nèi)容，有興趣的朋友們可以學(xué)習(xí)下。2020-11-11
python計算程序開始到程序結(jié)束的運行時間和程序運行的CPU時間
這篇文章主要介紹了python計算程序開始到程序結(jié)束的運行時間和程序運行的CPU時間的三個方法，大家參考使用2013-11-11
python中協(xié)程實現(xiàn)TCP連接的實例分析
在本篇文章中我們給大家分享了python中協(xié)程實現(xiàn)TCP連接的代碼示例內(nèi)容，有需要的朋友們可以跟著學(xué)習(xí)下。2018-10-10
Python中defaultdict與lambda表達(dá)式用法實例小結(jié)
這篇文章主要介紹了Python中defaultdict與lambda表達(dá)式用法,結(jié)合實例形式分析了Python中defaultdict與lambda表達(dá)式的功能、使用方法及相關(guān)注意事項,需要的朋友可以參考下2018-04-04
python的random模塊及加權(quán)隨機(jī)算法的python實現(xiàn)方法
下面小編就為大家?guī)硪黄猵ython的random模塊及加權(quán)隨機(jī)算法的python實現(xiàn)方法。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-01-01
對python操作kafka寫入json數(shù)據(jù)的簡單demo分享
今天小編就為大家分享一篇對python操作kafka寫入json數(shù)據(jù)的簡單demo，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12
今天小編就為大家分享一篇關(guān)于使用Django連接Mysql數(shù)據(jù)庫步驟，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2019-01-01