Pytorch實現(xiàn)將模型的所有參數(shù)的梯度清0
有兩種方式直接把模型的參數(shù)梯度設成0：
model.zero_grad()
optimizer.zero_grad()#當optimizer=optim.Optimizer(model.parameters())時，兩者等效
如果想要把某一Variable的梯度置為0，只需用以下語句：
Variable.grad.data.zero_()
補充知識：PyTorch中在反向傳播前為什么要手動將梯度清零？optimizer.zero_grad()的意義
optimizer.zero_grad()意思是把梯度置零，也就是把loss關(guān)于weight的導數(shù)變成0.
在學習pytorch的時候注意到，對于每個batch大都執(zhí)行了這樣的操作：
optimizer.zero_grad() ## 梯度清零
preds = model(inputs) ## inference
loss = criterion(preds, targets) ## 求解loss
loss.backward() ## 反向傳播求解梯度
optimizer.step() ## 更新權(quán)重參數(shù)
1、由于pytorch的動態(tài)計算圖，當我們使用loss.backward()和opimizer.step()進行梯度下降更新參數(shù)的時候，梯度并不會自動清零。并且這兩個操作是獨立操作。
2、backward()：反向傳播求解梯度。
3、step()：更新權(quán)重參數(shù)。
基于以上幾點，正好說明了pytorch的一個特點是每一步都是獨立功能的操作，因此也就有需要梯度清零的說法，如若不顯示的進 optimizer.zero_grad()這一步操作，backward()的時候就會累加梯度。
以上這篇Pytorch實現(xiàn)將模型的所有參數(shù)的梯度清0就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python如何讀取txt文件,獲取指定行中指定位置數(shù)據(jù)
這篇文章主要介紹了Python如何讀取txt文件,獲取指定行中指定位置數(shù)據(jù),具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-03-03
Python使用unicodedata實現(xiàn)字符串標準化
這篇文章主要來和大家聊一聊 Python 的一個內(nèi)置模塊：unicodedata，它是專門用來處理 unicode 字符串的，下面就一起來看看它的用法吧2023-06-06
Python中輸入和輸出（打?。?shù)據(jù)實例方法
在本篇文章里小編給大家整理的是關(guān)于Python中輸入和輸出（打印）數(shù)據(jù)實例方法以及相關(guān)知識點，有需要的朋友們參考下。2019-10-10
Python+PyQt5實現(xiàn)數(shù)據(jù)庫表格動態(tài)增刪改
這篇文章主要為大家介紹如何利用Python中的PyQt5模塊實現(xiàn)對數(shù)據(jù)庫表格的動態(tài)增刪改，文中的示例代碼講解詳細，感興趣的小伙伴可以了解一下2022-03-03
這篇文章主要介紹了Python三種遍歷文件目錄的方法實例代碼，具有一定借鑒價值,需要的朋友可以參考下2018-01-01
這篇文章主要給大家介紹了關(guān)于pymysql的安裝以及操作的相關(guān)資料,pymsql是Python中操作MySQL的模塊,其使用方法和MySQLdb幾乎相同,文中通過代碼介紹的非常詳細,需要的朋友可以參考下2023-11-11
PyTorch 提供了內(nèi)置剪枝 API ，也支持了一些非結(jié)構(gòu)化和結(jié)構(gòu)化剪枝方法，但是 API 比較混亂，對應文檔描述也不清晰，所以后面我還會結(jié)合微軟的開源 nni 工具來實現(xiàn)模型剪枝功能,這篇文章主要介紹了pytorch實現(xiàn)模型剪枝, 需要的朋友可以參考下2023-02-02
這篇文章主要介紹了詳解如何管理多個Python版本和虛擬環(huán)境，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2019-05-05
Python 用turtle實現(xiàn)用正方形畫圓的例子
今天小編就為大家分享一篇Python 用turtle實現(xiàn)用正方形畫圓的例子，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-11-11
Python編寫簡化版的文字冒險游戲：迷失的寶藏,這個文字冒險游戲包含了游戲開發(fā)的基本要素：游戲狀態(tài)管理、玩家輸入處理、游戲邏輯和循環(huán),通過擴展游戲的內(nèi)容和功能,可以制作出更復雜、更有趣的游戲,希望這個實例代碼能夠激發(fā)你對游戲編程的興趣和創(chuàng)造力！2024-05-05