Pytorch訓(xùn)練過程出現(xiàn)nan的解決方式
更新時(shí)間：2020年01月02日 16:14:48 作者：咆哮的阿杰
今天小編就為大家分享一篇Pytorch訓(xùn)練過程出現(xiàn)nan的解決方式，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
今天使用shuffleNetV2+，使用自己的數(shù)據(jù)集，遇到了loss是nan的情況，而且top1精確率出現(xiàn)斷崖式上升，這顯示是不正常的。
在網(wǎng)上查了下解決方案。我的問題是出在學(xué)習(xí)率上了。
我自己做的樣本數(shù)據(jù)集比較小，就三類，每類大概三百多張，初始學(xué)習(xí)率是0.5。后來設(shè)置為0.1就解決了。
按照解決方案上寫的。出現(xiàn)nan的情況還有以下幾種：
學(xué)習(xí)率太大，但是樣本數(shù)據(jù)集又很小。（我的情況）
自定義的loss除以了一個(gè)很小的數(shù)字，小到接近0。
數(shù)據(jù)不干凈，數(shù)據(jù)本身就有nan，可以用numpy.isnan檢查。
target，即label是大于等于0的。從1到類別數(shù)目-1變化。
以上這篇Pytorch訓(xùn)練過程出現(xiàn)nan的解決方式就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章將詳細(xì)講解如何使用OpenCV繪制各類幾何圖形，包括cv2.line()、v2.circle()、cv2.rectangle()、cv2.ellipse()、cv2.polylines()、cv2.putText()函數(shù)。需要的可以參考一下2022-01-01
python對象轉(zhuǎn)字典的兩種實(shí)現(xiàn)方式示例
這篇文章主要介紹了python對象轉(zhuǎn)字典的兩種實(shí)現(xiàn)方式,結(jié)合實(shí)例形式分析了Python字典與對象數(shù)據(jù)類型轉(zhuǎn)換相關(guān)操作技巧,需要的朋友可以參考下2019-11-11
使用WingPro 7 設(shè)置Python路徑的方法
Python使用稱為Python Path的搜索路徑來查找使用import語句導(dǎo)入代碼的模塊。這篇文章主要介紹了使用WingPro 7 設(shè)置Python路徑的方法,需要的朋友可以參考下2019-07-07
python 圖像判斷,清晰度(明暗),彩色與黑白實(shí)例
這篇文章主要介紹了python 圖像判斷,清晰度(明暗),彩色與黑白實(shí)例，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
淺析Python pandas模塊輸出每行中間省略號(hào)問題
這篇文章主要介紹Python pandas模塊輸出每行中間省略號(hào)問題,本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2018-07-07
Python使用atexit模塊實(shí)現(xiàn)Golang的defer功能
這篇文章主要為大家詳細(xì)介紹了Python如何使用atexit模塊實(shí)現(xiàn)Golang的defer功能,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2024-04-04
Python接口自動(dòng)化淺析unittest單元測試原理
這篇文章主要介紹了Python接口自動(dòng)化淺析unittest單元測試原理,文中描述了單元測試，unittest模塊特性、大致流程、源碼及實(shí)戰(zhàn)例子這幾個(gè)模塊，有需要的朋友可以借鑒參考下2021-08-08
python 實(shí)現(xiàn)客戶端與服務(wù)端的通信
這篇文章主要介紹了python 實(shí)現(xiàn)客戶端與服務(wù)端的通信的方法，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2020-12-12
這篇文章主要介紹了python連接PostgreSQL過程解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-02-02
今天小編就為大家分享一篇關(guān)于Python中使用遍歷在列表中添加字典遇到的坑，小編覺得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來看看吧2019-02-02