Pytorch反向求導更新網(wǎng)絡參數(shù)的方法
更新時間：2019年08月17日 17:57:56 作者：tsq292978891
今天小編就為大家分享一篇Pytorch反向求導更新網(wǎng)絡參數(shù)的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
方法一：手動計算變量的梯度，然后更新梯度
import torch from torch.autograd import Variable # 定義參數(shù) w1 = Variable(torch.FloatTensor([1,2,3]),requires_grad = True) # 定義輸出 d = torch.mean(w1) # 反向求導 d.backward() # 定義學習率等參數(shù) lr = 0.001 # 手動更新參數(shù) w1.data.zero_() # BP求導更新參數(shù)之前,需先對導數(shù)置0 w1.data.sub_(lr*w1.grad.data)
一個網(wǎng)絡中通常有很多變量,如果按照上述的方法手動求導,然后更新參數(shù),是很麻煩的,這個時候可以調用torch.optim
方法二：使用torch.optim
import torch from torch.autograd import Variable import torch.nn as nn import torch.optim as optim # 這里假設我們定義了一個網(wǎng)絡,為net steps = 10000 # 定義一個optim對象 optimizer = optim.SGD(net.parameters(), lr = 0.01) # 在for循環(huán)中更新參數(shù) for i in range(steps): optimizer.zero_grad() # 對網(wǎng)絡中參數(shù)當前的導數(shù)置0 output = net(input) # 網(wǎng)絡前向計算 loss = criterion(output, target) # 計算損失 loss.backward() # 得到模型中參數(shù)對當前輸入的梯度 optimizer.step() # 更新參數(shù)
注意：torch.optim只用于參數(shù)更新和對參數(shù)的梯度置０，不能計算參數(shù)的梯度，在使用torch.optim進行參數(shù)更新之前，需要寫前向與反向傳播求導的代碼
以上這篇Pytorch反向求導更新網(wǎng)絡參數(shù)的方法就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了Python實現(xiàn)比較兩個列表(list)范圍,本文根據(jù)一道題目實現(xiàn)解決代碼,本文分別給出題目和解答源碼,需要的朋友可以參考下2015-06-06
本文主要介紹了Python實現(xiàn)端口掃描器，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-08-08
下面小編就為大家分享一篇Python序列循環(huán)移位的3種方法推薦，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04
在Python中,處理數(shù)據(jù)時經(jīng)常需要同時遍歷多個序列,zip函數(shù)提供了一種簡潔的方式來組合這些序列,它用于將多個可迭代對象（如列表、元組等）的元素配對,本文將給大家詳細介紹一下Python中的zip函數(shù),需要的朋友可以參考下2024-05-05
Python的命令行參數(shù),提供了很多有用的功能,可以方便調試和運行,這篇文章主要給大家介紹了關于Python中三種命令行參數(shù)利用方式的相關資料,文中通過代碼介紹的非常詳細,需要的朋友可以參考下2023-12-12
這篇文章主要介紹了pandas讀取中文xlsx文件出現(xiàn)的問題及解決，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-05-05
特征提取是圖像處理過程中常需要用到的一種方法,其效果好壞對模型的泛化能力有至關重要的影響,下面這篇文章主要給大家介紹了關于如何從PyTorch中獲取過程特征圖的相關資料,需要的朋友可以參考下2023-01-01
Python實現(xiàn)常見網(wǎng)絡通信的示例詳解
這篇文章主要為大家詳細介紹了Python實現(xiàn)常見網(wǎng)絡通信的相關方法,文中的示例代碼講解詳細,感興趣的小伙伴就跟隨小編一起學習一下吧2025-04-04
這篇文章主要介紹了如何利用python實現(xiàn)蝴蝶曲線，自然界的很多現(xiàn)象都可以適當?shù)暮喕么鷶?shù)曲線和超越曲線來表達，下面我們就來利用去先畫出小蝴蝶，需要的小伙伴可以參考一下2022-03-03
TOML是一種用于配置文件的輕量級、易讀的數(shù)據(jù)序列化格式,這篇文章主要為大家詳細介紹了python如何對Toml配置文件進行簡單操作,感興趣的小伙伴可以了解下2023-09-09