Pytorch訓練網(wǎng)絡過程中l(wèi)oss突然變?yōu)?的解決方案
更新時間：2021年05月13日 10:07:02 作者：他們叫我一代大俠
這篇文章主要介紹了Pytorch訓練網(wǎng)絡過程中l(wèi)oss突然變?yōu)?的解決方案，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
問題
// loss 突然變成0
python train.py -b=8
INFO: Using device cpu
INFO: Network:
1 input channels
7 output channels (classes)
Bilinear upscaling
INFO: Creating dataset with 868 examples
INFO: Starting training:
Epochs: 5
Batch size: 8
Learning rate: 0.001
Training size: 782
Validation size: 86
Checkpoints: True
Device: cpu
Images scaling: 1
Epoch 1/5: 10%|██████████████▏ | 80/782 [01:33<13:21, 1.14s/img, loss (batch)=0.886I
NFO: Validation cross entropy: 1.86862473487854
Epoch 1/5: 20%|███████████████████████████▊ | 160/782 [03:34<11:51, 1.14s/img, loss (batch)=2.35e-7I
NFO: Validation cross entropy: 5.887489884504049e-10
Epoch 1/5: 31%|███████████████████████████████████████████▌ | 240/782 [05:41<11:29, 1.27s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0
Epoch 1/5: 41%|██████████████████████████████████████████████████████████ | 320/782 [07:49<09:16, 1.20s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0
Epoch 1/5: 51%|████████████████████████████████████████████████████████████████████████▋ | 400/782 [09:55<07:31, 1.18s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0
Epoch 1/5: 61%|███████████████████████████████████████████████████████████████████████████████████████▏ | 480/782 [12:02<05:58, 1.19s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0
Epoch 1/5: 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 560/782 [14:04<04:16, 1.15s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0
Epoch 1/5: 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 640/782 [16:11<02:49, 1.20s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0
Epoch 1/5: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 720/782 [18:21<01:18, 1.26s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0
Epoch 1/5: 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 736/782 [19:17<01:12, 1.57s/img, loss (batch)=0]
Traceback (most recent call last):
File "train.py", line 182, in <module>
val_percent=args.val / 100)
File "train.py", line 66, in train_net
for batch in train_loader:
File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/dataloader.py", line 819, in __next__
return self._process_data(data)
File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/dataloader.py", line 846, in _process_data
data.reraise()
File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/_utils.py", line 385, in reraise
raise self.exc_type(msg)
RuntimeError: Caught RuntimeError in DataLoader worker process 4.
Original Traceback (most recent call last):
File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/worker.py", line 178, in _worker_loop
data = fetcher.fetch(index)
File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/fetch.py", line 47, in fetch
return self.collate_fn(data)
File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/collate.py", line 74, in default_collate
return {key: default_collate([d[key] for d in batch]) for key in elem}
File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/collate.py", line 74, in <dictcomp>
return {key: default_collate([d[key] for d in batch]) for key in elem}
File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/collate.py", line 55, in default_collate
return torch.stack(batch, 0, out=out)
RuntimeError: Expected object of scalar type Double but got scalar type Byte for sequence element 4 in sequence argument at position #1 'tensors'
交叉熵損失函數(shù)是衡量輸出與標簽之間的損失，通過求導確定梯度下降的方向。
loss突然變?yōu)?，有兩種可能性。
一是因為預測輸出為0，二是因為標簽為0。
如果是因為標簽為0，那么一開始loss就可能為0.
檢查參數(shù)初始化
檢查前向傳播的網(wǎng)絡
檢查loss的計算格式
檢查梯度下降
是否出現(xiàn)梯度消失。
實際上是標簽出了錯誤
補充：pytorch訓練出現(xiàn)loss=na
遇到一個很坑的情況，在pytorch訓練過程中出現(xiàn)loss=nan的情況
有以下幾種可能：
1.學習率太高。
2.loss函數(shù)有問題
3.對于回歸問題，可能出現(xiàn)了除0 的計算，加一個很小的余項可能可以解決
4.數(shù)據(jù)本身，是否存在Nan、inf，可以用np.isnan(),np.isinf()檢查一下input和target
5.target本身應該是能夠被loss函數(shù)計算的，比如sigmoid激活函數(shù)的target應該大于0，同樣的需要檢查數(shù)據(jù)集
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方，望不吝賜教。
相關文章
利用Python開發(fā)一個功能全面的Markdown編輯工具
這篇文章主要為大家詳細介紹了如何利用Python開發(fā)一個功能全面的Markdown編輯工具,支持Markdown內(nèi)容的編輯,HTML預覽等功能,需要的可以參考下2025-03-03
這篇文章主要介紹了python自動結束mysql慢查詢會話,主要涉及到了mysql慢查詢會話查詢，定時任務的相關知識，本文通過實例代碼給大家介紹的非常詳細，需要的朋友可以參考下2019-10-10
這篇文章主要介紹了Python圖像灰度變換及圖像數(shù)組操作的相關資料,需要的朋友可以參考下2016-01-01
解決python3插入mysql時內(nèi)容帶有引號的問題
今天小編就為大家分享一篇解決python3插入mysql時內(nèi)容帶有引號的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03
這篇文章主要介紹了python遞歸函數(shù)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-04-04
python 阿里云oss實現(xiàn)直傳簽名與回調(diào)驗證的示例方法
這篇文章主要介紹了python 阿里云oss實現(xiàn)直傳簽名與回調(diào)驗證，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-03-03
python 實現(xiàn)多維數(shù)組(array)排序
今天小編就為大家分享一篇python 實現(xiàn)多維數(shù)組(array)排序，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02
這篇文章主要為大家詳細介紹了python實現(xiàn)桌面托盤氣泡提示，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-07-07
這篇文章主要介紹了關于Theano和Tensorflow多GPU使用問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
opencv+圖像處理(Image Processing in OpenCV)
這篇文章主要介紹了opencv+圖像處理(Image Processing in OpenCV) 4-0改變顏色空間,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2023-04-04