pytorch損失反向傳播后梯度為none的問(wèn)題
更新時(shí)間：2021年05月12日 17:03:03 作者：lczygogogo
這篇文章主要介紹了pytorch 出現(xiàn)損失反向傳播后梯度為none的問(wèn)題，具有很好的參考價(jià)值，如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
錯(cuò)誤代碼：輸出grad為none
a = torch.ones((2, 2), requires_grad=True).to(device) b = a.sum() b.backward() print(a.grad)
由于.to(device)是一次操作，此時(shí)的a已經(jīng)不是葉子節(jié)點(diǎn)了
修改后的代碼為：
a = torch.ones((2, 2), requires_grad=True) c = a.to(device) b = c.sum() b.backward() print(a.grad)
類似錯(cuò)誤：
self.miu = torch.nn.Parameter(torch.ones(self.dimensional)) * 0.01
應(yīng)該為
self.miu = torch.nn.Parameter(torch.ones(self.dimensional) * 0.01)
補(bǔ)充：pytorch梯度返回none的bug
pytorch1.4.0如果使用了view方法，reshape方法
tensor即使設(shè)置了requires_grad，反向傳播之后， x返回沒(méi)有g(shù)rad梯度，為none
不知道其他版本有無(wú)此bug
補(bǔ)充：PyTorch中梯度反向傳播的注意點(diǎn)
在一個(gè)迭代循環(huán)中
optimizer.zero_grad()語(yǔ)句的位置比較隨意，只要放在loss.backward()前面即可，它的作用是將梯度歸零，否則會(huì)在每一個(gè)迭代中進(jìn)行累加，
loss.backward()的作用是反向傳播，計(jì)算梯度，optimizer.step()的功能是優(yōu)化器自動(dòng)完成參數(shù)的更新。
optimizer.zero_grad() loss.backward() optimizer.step()
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
使用 Python 實(shí)現(xiàn)文件遞歸遍歷的三種方式
這篇文章主要介紹了使用 Python 實(shí)現(xiàn)文件遞歸遍歷的三種方式,非常不錯(cuò)，具有一定的參考借鑒價(jià)值，需要的朋友參考下吧2018-07-07
在matplotlib.pyplot 中除了可以繪制常規(guī)圖表如折線、柱狀、散點(diǎn)等,還可以繪制常用在地理上的平面展示地型的等高線圖,在本中,我們將詳細(xì)學(xué)習(xí)matplotlib 繪制等高線圖相關(guān)屬性的學(xué)習(xí),需要的朋友可以參考下2023-11-11
本文主要介紹了Python中星號(hào)的五種用法小結(jié)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02
Python中字符串格式化str.format的詳細(xì)介紹
python從2.6開(kāi)始支持format，新的更加容易讀懂的字符串格式化方法，下面這篇文章主要介紹了Python中字符串格式化str.format的相關(guān)資料，需要的朋友可以參考借鑒，下面來(lái)一起看看吧。2017-02-02
windows10在visual studio2019下配置使用openCV4.3.0
這篇文章主要介紹了windows10在visual studio2019下配置使用openCV4.3.0，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-07-07
這篇文章主要介紹了Anaconda詳細(xì)安裝步驟圖文教程,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-11-11
Python實(shí)現(xiàn)投影法分割圖像示例(二)
今天小編就為大家分享一篇Python實(shí)現(xiàn)投影法分割圖像示例(二)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-01-01
基于Python實(shí)現(xiàn)PDF批量轉(zhuǎn)化工具
這篇文章主要為大家詳細(xì)介紹了如何基于Python制作一個(gè)PDF批量轉(zhuǎn)化工具,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2024-12-12
Python開(kāi)發(fā)中常用操作方法代碼匯總筆記
Python具有易學(xué)、易用、易擴(kuò)展、可移植性強(qiáng)等特點(diǎn)，被廣泛應(yīng)用于數(shù)據(jù)分析、人工智能、Web開(kāi)發(fā)、自動(dòng)化測(cè)試等領(lǐng)域。Python在使用過(guò)程中也會(huì)遇到一些常見(jiàn)技術(shù)問(wèn)題，本文匯總Python開(kāi)發(fā)中實(shí)用操作方法代碼筆記。2023-06-06
這篇文章主要介紹了Python使用新浪微博API發(fā)送微博的例子,需要的朋友可以參考下2014-04-04