PyTorch梯度裁剪避免訓(xùn)練loss nan的操作
近來(lái)在訓(xùn)練檢測(cè)網(wǎng)絡(luò)的時(shí)候會(huì)出現(xiàn)loss為nan的情況，需要中斷重新訓(xùn)練，會(huì)很麻煩。因而選擇使用PyTorch提供的梯度裁剪庫(kù)來(lái)對(duì)模型訓(xùn)練過(guò)程中的梯度范圍進(jìn)行限制，修改之后，不再出現(xiàn)loss為nan的情況。
PyTorch中采用torch.nn.utils.clip_grad_norm_來(lái)實(shí)現(xiàn)梯度裁剪，鏈接如下：
https://pytorch.org/docs/stable/_modules/torch/nn/utils/clip_grad.html
訓(xùn)練代碼使用示例如下：
from torch.nn.utils import clip_grad_norm_ outputs = model(data) loss= loss_fn(outputs, target) optimizer.zero_grad() loss.backward() # clip the grad clip_grad_norm_(model.parameters(), max_norm=20, norm_type=2) optimizer.step()
其中，max_norm為梯度的最大范數(shù)，也是梯度裁剪時(shí)主要設(shè)置的參數(shù)。
備注：網(wǎng)上有同學(xué)提醒在（強(qiáng)化學(xué)習(xí)）使用了梯度裁剪之后訓(xùn)練時(shí)間會(huì)大大增加。目前在我的檢測(cè)網(wǎng)絡(luò)訓(xùn)練中暫時(shí)還沒(méi)有碰到這個(gè)問(wèn)題，以后遇到再來(lái)更新。
補(bǔ)充：pytorch訓(xùn)練過(guò)程中出現(xiàn)nan的排查思路
1、最常見(jiàn)的就是出現(xiàn)了除0或者log0這種
看看代碼中在這種操作的時(shí)候有沒(méi)有加一個(gè)很小的數(shù)，但是這個(gè)數(shù)數(shù)量級(jí)要和運(yùn)算的數(shù)的數(shù)量級(jí)要差很多。一般是1e-8。
2、在optim.step()之前裁剪梯度
optim.zero_grad() loss.backward() nn.utils.clip_grad_norm(model.parameters, max_norm, norm_type=2) optim.step()
max_norm一般是1，3，5。
3、前面兩條還不能解決nan的話
就按照下面的流程來(lái)判斷。
... loss = model(input) # 1. 先看loss是不是nan,如果loss是nan,那么說(shuō)明可能是在forward的過(guò)程中出現(xiàn)了第一條列舉的除0或者log0的操作 assert torch.isnan(loss).sum() == 0, print(loss) optim.zero_grad() loss.backward() # 2. 如果loss不是nan,那么說(shuō)明forward過(guò)程沒(méi)問(wèn)題，可能是梯度爆炸，所以用梯度裁剪試試 nn.utils.clip_grad_norm(model.parameters, max_norm, norm_type=2) # 3.1 在step之前，判斷參數(shù)是不是nan, 如果不是判斷step之后是不是nan assert torch.isnan(model.mu).sum() == 0, print(model.mu) optim.step() # 3.2 在step之后判斷，參數(shù)和其梯度是不是nan，如果3.1不是nan,而3.2是nan, # 特別是梯度出現(xiàn)了Nan,考慮學(xué)習(xí)速率是否太大，調(diào)小學(xué)習(xí)速率或者換個(gè)優(yōu)化器試試。 assert torch.isnan(model.mu).sum() == 0, print(model.mu) assert torch.isnan(model.mu.grad).sum() == 0, print(model.mu.grad)
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了Python實(shí)現(xiàn)k-means算法，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-02-02
Python3合并兩個(gè)有序數(shù)組代碼實(shí)例
這篇文章主要介紹了Python3合并兩個(gè)有序數(shù)組代碼實(shí)例,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-08-08
下面我們來(lái)介紹python條件語(yǔ)句和循環(huán)語(yǔ)句的使用方法。2013-11-11
tensorflow如何繼續(xù)訓(xùn)練之前保存的模型實(shí)例
今天小編就為大家分享一篇tensorflow如何繼續(xù)訓(xùn)練之前保存的模型實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-01-01
如何在django里上傳csv文件并進(jìn)行入庫(kù)處理的方法
這篇文章主要介紹了如何在django里上傳csv文件并進(jìn)行入庫(kù)處理的方法，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2019-01-01
一小時(shí)學(xué)會(huì)TensorFlow2之大幅提高模型準(zhǔn)確率
這篇文章主要介紹了TensorFlow2之大幅提高模型準(zhǔn)確率，本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-09-09
這篇文章主要為大家詳細(xì)介紹了Linux下python3.6.1環(huán)境配置教程 ，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-09-09
train.py里面加了很多額外的功能,使得整體看起來(lái)比較復(fù)雜,其實(shí)核心部分主要就是 讀取數(shù)據(jù)集,加載模型,訓(xùn)練中損失的計(jì)算,下面這篇文章主要給大家介紹了關(guān)于yolov5中train.py代碼注釋詳解與使用的相關(guān)資料,需要的朋友可以參考下2022-09-09
python實(shí)現(xiàn)播放音頻和錄音功能示例代碼
這篇文章主要給大家介紹了關(guān)于python播放音頻和錄音的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家學(xué)習(xí)或者使用python具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2018-12-12
Python操作MySQL數(shù)據(jù)庫(kù)實(shí)例詳解【安裝、連接、增刪改查等】
這篇文章主要介紹了Python操作MySQL數(shù)據(jù)庫(kù),結(jié)合實(shí)例形式詳細(xì)分析了Python操作mysql數(shù)據(jù)庫(kù)的安裝、連接、增刪改查等相關(guān)實(shí)現(xiàn)技巧與注意事項(xiàng),需要的朋友可以參考下2020-01-01