解決Pytorch在測試與訓(xùn)練過程中的驗(yàn)證結(jié)果不一致問題
更新時(shí)間：2021年06月03日 09:46:44 作者：the步履不停shy
這篇文章主要介紹了解決Pytorch在測試與訓(xùn)練過程中的驗(yàn)證結(jié)果不一致問題，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
引言
今天在使用Pytorch導(dǎo)入此前保存的模型進(jìn)行測試，在過程中發(fā)現(xiàn)輸出的結(jié)果與驗(yàn)證結(jié)果差距甚大，經(jīng)過排查后發(fā)現(xiàn)是forward與eval()順序問題。
現(xiàn)象
此前的錯(cuò)誤代碼是
input_cpu = torch.ones((1, 2, 160, 160))
target_cpu =torch.ones((1, 2, 160, 160))
target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
model.set_input_2(input_gpu, target_gpu)
model.eval()
model.forward()
應(yīng)該改為
input_cpu = torch.ones((1, 2, 160, 160))
target_cpu =torch.ones((1, 2, 160, 160))
target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
model.set_input_2(input_gpu, target_gpu)
# 先forward再eval
model.forward()
model.eval()
當(dāng)時(shí)有個(gè)疑慮，為什么要在forward后面再加eval()，查了下相關(guān)資料，主要是在BN層以及Dropout的問題。
當(dāng)使用eval()時(shí)，模型會自動固定BN層以及Dropout，選取訓(xùn)練好的值，否則則會取平均，可能導(dǎo)致生成的圖片顏色失真。
PyTorch進(jìn)行訓(xùn)練和測試時(shí)一定注意要把實(shí)例化的model指定train/eval
使用PyTorch進(jìn)行訓(xùn)練和測試時(shí)一定注意要把實(shí)例化的model指定train/eval，eval（）時(shí)，框架會自動把BN和DropOut固定住，不會取平均，而是用訓(xùn)練好的值，不然的話，一旦test的batch_size過小，很容易就會被BN層導(dǎo)致生成圖片顏色失真極大?。。。。?！
eg：
Class Inpaint_Network() ...... Model = Inpaint_Nerwoek() #train: Model.train(mode=True) ..... #test: Model.eval()
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了Python使用pickle模塊儲存對象操作,結(jié)合實(shí)例形式分析了Python使用pickle模塊針對文件讀寫與轉(zhuǎn)換的相關(guān)操作技巧,需要的朋友可以參考下2018-08-08
Python pydotplus安裝及可視化圖形創(chuàng)建教程
這篇文章主要為大家介紹了Python pydotplus安裝及可視化圖形創(chuàng)建教程示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-10-10
今天有位同事和我吐槽關(guān)于公司 XX 的問題，我告訴他不要在公司電腦上說這些，因?yàn)楹芸赡軙痪褤簦@位同事剛開始還不信，直到我寫了這邊文章，他才恍然大悟2021-10-10
python中torch.nn.identity()方法詳解
今天看源碼時(shí)遇到的這個(gè)恒等函數(shù),就如同名字那樣占位符,并沒有實(shí)際操作,下面這篇文章主要給大家介紹了關(guān)于python中torch.nn.identity()方法的相關(guān)資料,需要的朋友可以參考下2022-03-03
這篇文章主要介紹了python中pip的使用和修改下載源的方法，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2019-07-07
python實(shí)現(xiàn)用戶登陸郵件通知的方法
這篇文章主要介紹了python實(shí)現(xiàn)用戶登陸郵件通知的方法,實(shí)例分析了Python計(jì)劃任務(wù)與郵件發(fā)送的使用技巧,需要的朋友可以參考下2015-07-07
這篇文章主要介紹了Pytest如何使用skip跳過執(zhí)行測試,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-08-08
關(guān)于AnacondaNavigator?Jupyter?Notebook更換Python內(nèi)核的問題
因?yàn)樾掳惭b的Anaconda?Navigator默認(rèn)安裝了一個(gè)Python，Jupyter?Notebook默認(rèn)使用的內(nèi)核就是這個(gè)Python，跟我系統(tǒng)安裝好的Python沖突了，下面小編給大家介紹AnacondaNavigator?Jupyter?Notebook更換Python內(nèi)核的問題,需要的朋友可以參考下2022-02-02
今天給大家分享一個(gè)得到彈幕的代碼，本文通過實(shí)例代碼給大家介紹Python得到彈幕并保存到Excel中怎么設(shè)置，感興趣的朋友跟隨小編一起看看吧2023-01-01
這篇文章主要介紹了實(shí)例Python處理XML文件的方法,包括用Python處理XML大文件的情況,需要的朋友可以參考下2015-08-08