解決Pytorch訓練過程中l(wèi)oss不下降的問題
更新時間：2020年01月02日 08:48:40 作者：貓猬獸
今天小編就為大家分享一篇解決Pytorch訓練過程中l(wèi)oss不下降的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
在使用Pytorch進行神經(jīng)網(wǎng)絡訓練時，有時會遇到訓練學習率不下降的問題。出現(xiàn)這種問題的可能原因有很多，包括學習率過小，數(shù)據(jù)沒有進行Normalization等。不過除了這些常規(guī)的原因，還有一種難以發(fā)現(xiàn)的原因：在計算loss時數(shù)據(jù)維數(shù)不匹配。
下面是我的代碼：
loss_function = torch.nn.MSE_loss() optimizer.zero_grad() output = model(x_train) loss = loss_function(output, y_train) loss.backward() optimizer.step()
要特別注意計算loss時網(wǎng)絡輸出值output和真實值y_train的維數(shù)必須完全匹配，否則訓練誤差不下降，無法訓練。這種錯誤在訓練一維數(shù)據(jù)時很容易忽略，要十分注意。
以上這篇解決Pytorch訓練過程中l(wèi)oss不下降的問題就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
Python+Selenium實現(xiàn)短視頻自動上傳與發(fā)布的實踐
本文主要介紹了Python+Selenium實現(xiàn)短視頻自動上傳與發(fā)布的實踐，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2022-04-04
今天看了open函數(shù),看到w+ r+ a+ 這種可讀可寫的操作,下面這篇文章主要給大家介紹了關于python使用open函數(shù)對文件進行處理的相關資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下2022-05-05
python 內(nèi)置庫wsgiref的使用（WSGI基礎入門）
WSGI（web服務器網(wǎng)關接口）主要規(guī)定了服務器端和應用程序之間的接口，即規(guī)定了請求的URL到后臺處理函數(shù)之間的映射該如何實現(xiàn)。wsgiref是一個幫助開發(fā)者開發(fā)測試的Python內(nèi)置庫，程序員可以通過這個庫了解WSGI的基本運行原理，但是不能把它用在生產(chǎn)環(huán)境上。2021-06-06
python3 requests庫實現(xiàn)多圖片爬取教程
今天小編就為大家分享一篇python3 requests庫實現(xiàn)多圖片爬取教程，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12
Python+OpenCV實現(xiàn)圖像融合的原理及代碼
這篇文章主要介紹了Python+OpenCV實現(xiàn)圖像融合的原理及代碼,本文通過實例代碼給大家介紹的非常詳細，具有一定的參考借鑒價值，需要的朋友可以參考下2018-12-12
Python中數(shù)字以及算數(shù)運算符的相關使用
這篇文章主要介紹了Python中數(shù)字以及算數(shù)運算符的相關使用,是Python入門學習中的基礎知識,需要的朋友可以參考下2015-10-10
中秋節(jié)是中國傳統(tǒng)的重要節(jié)日之一,起源于嫦娥奔月的神話故事,在中秋節(jié)這個特殊的日子里,人們不僅會欣賞明亮的月亮和嫦娥奔月的美麗故事,還會舉行一些慶祝活動,接下來,我們使用Pygame制作“嫦娥奔月”小游戲,感興趣的朋友可以自己動手試一試2023-09-09
這篇文章主要介紹了解決Pyinstaller打包軟件失敗的一個坑，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-03-03![Pycharm之如何安裝cv2 [python3.6]](http://img.jbzj.com/images/xgimg/bcimg8.png)
這篇文章主要介紹了Pycharm之如何安裝cv2 [python3.6]問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-05-05
這篇文章主要介紹了如何使用Python進行PDF圖片識別OCR，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2021-01-01