解決torch.autograd.backward中的參數(shù)問題
torch.autograd.backward(variables, grad_variables=None, retain_graph=None, create_graph=False)
給定圖的葉子節(jié)點(diǎn)variables, 計(jì)算圖中變量的梯度和。 計(jì)算圖可以通過鏈?zhǔn)椒▌t求導(dǎo)。如果variables中的任何一個(gè)variable是 非標(biāo)量(non-scalar)的，且requires_grad=True。那么此函數(shù)需要指定grad_variables，它的長(zhǎng)度應(yīng)該和variables的長(zhǎng)度匹配，里面保存了相關(guān)variable的梯度(對(duì)于不需要gradient tensor的variable，None是可取的)。
此函數(shù)累積leaf variables計(jì)算的梯度。你可能需要在調(diào)用此函數(shù)之前將leaf variable的梯度置零。
參數(shù)：
variables（變量的序列） - 被求微分的葉子節(jié)點(diǎn)，即 ys 。
grad_variables（（張量，變量）的序列或無） - 對(duì)應(yīng)variable的梯度。僅當(dāng)variable不是標(biāo)量且需要求梯度的時(shí)候使用。
retain_graph（bool，可選） - 如果為False，則用于釋放計(jì)算grad的圖。請(qǐng)注意，在幾乎所有情況下，沒有必要將此選項(xiàng)設(shè)置為True，通?？梢砸愿行У姆绞浇鉀Q。默認(rèn)值為create_graph的值。
create_graph（bool，可選） - 如果為True，則將構(gòu)造派生圖，允許計(jì)算更高階的派生產(chǎn)品。默認(rèn)為False。
我這里舉一個(gè)官方的例子
import torch from torch.autograd import Variable x = Variable(torch.ones(2, 2), requires_grad=True) y = x + 2 z = y * y * 3 out = z.mean() out.backward()#這里是默認(rèn)情況，相當(dāng)于out.backward(torch.Tensor([1.0])) print(x.grad)
輸出結(jié)果是
Variable containing: 4.5000 4.5000 4.5000 4.5000 [torch.FloatTensor of size 2x2]
接著我們繼續(xù)
x = torch.randn(3) x = Variable(x, requires_grad=True) y = x * 2 while y.data.norm() < 1000: y = y * 2 gradients = torch.FloatTensor([0.1, 1.0, 0.0001]) y.backward(gradients) print(x.grad)
輸出結(jié)果是
Variable containing: 204.8000 2048.0000 0.2048 [torch.FloatTensor of size 3]
這里這個(gè)gradients為什么要是[0.1, 1.0, 0.0001]？
如果輸出的多個(gè)loss權(quán)重不同的話，例如有三個(gè)loss，一個(gè)是x loss，一個(gè)是y loss，一個(gè)是class loss。那么很明顯的不可能所有l(wèi)oss對(duì)結(jié)果影響程度都一樣，他們之間應(yīng)該有一個(gè)比例。那么比例這里指的就是[0.1, 1.0, 0.0001]，這個(gè)問題中的loss對(duì)應(yīng)的就是上面說的y，那么這里的輸出就很好理解了dy/dx=0.1*dy1/dx+1.0*dy2/dx+0.0001*dy3/dx。
如有問題，希望大家指正，謝謝_!
以上這篇解決torch.autograd.backward中的參數(shù)問題就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了python中*號(hào)的用法,文中通過代碼給大家介紹了雙星號(hào)(**)的用法，非常不錯(cuò)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2019-10-10
詳解Python中Pandas read_csv參數(shù)使用
在使用 Pandas 進(jìn)行數(shù)據(jù)分析和處理時(shí)，read_csv 是一個(gè)非常常用的函數(shù)，本文將詳細(xì)介紹 read_csv 函數(shù)的各個(gè)參數(shù)及其用法，希望對(duì)大家有所幫助2022-10-10
Python+Matplotlib繪制高亮顯示餅圖的示例代碼
餅圖 (Pie Chart) 是一種圓形統(tǒng)計(jì)圖，被分割成片用于表示數(shù)值間的比例關(guān)系，本文為大家介紹了Matplotlib繪制高亮顯示的餅圖的函數(shù)源碼，需要的可以參考一下2023-06-06
Django?ORM?事務(wù)和查詢優(yōu)化的操作方法
這篇文章主要介紹了Django?ORM?事務(wù)和查詢優(yōu)化,包括事務(wù)操作、ORM 惰性查詢及only與defer相關(guān)知識(shí)，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2022-09-09
pandas的to_datetime時(shí)間轉(zhuǎn)換使用及學(xué)習(xí)心得
這篇文章主要給大家介紹了關(guān)于pandas的to_datetime時(shí)間轉(zhuǎn)換使用及學(xué)習(xí)心得的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家學(xué)習(xí)或者使用pandas具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2019-08-08
Python動(dòng)態(tài)導(dǎo)入模塊的方法實(shí)例分析
這篇文章主要介紹了Python動(dòng)態(tài)導(dǎo)入模塊的方法,結(jié)合實(shí)例形式較為詳細(xì)的分析了Python動(dòng)態(tài)導(dǎo)入系統(tǒng)模塊、自定義模塊以及模塊列表的相關(guān)操作技巧,需要的朋友可以參考下2018-06-06
docker compose 是 docker 的容器編排工具,它是基于 YAML 配置,YAML 是一種配置文件格式,支持傳遞環(huán)境變量,但是對(duì)于復(fù)雜的容器編排顯得力不從心,于是我便開發(fā)這個(gè)程序,可以像寫程序一樣編排 docker,感興趣的的朋友可以參考下2024-08-08
scratch3.0二次開發(fā)之用blocks生成python代碼
python是blockl.generator的一個(gè)實(shí)例，會(huì)調(diào)用generator里的方法，這篇文章主要介紹了scratch3.0二次開發(fā)之用blocks生成python代碼,需要的朋友可以參考下2021-08-08
本文主要介紹了淺談pandas中空值的處理方法，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-07-07
Python實(shí)現(xiàn)生成隨機(jī)日期字符串的方法示例
這篇文章主要介紹了Python實(shí)現(xiàn)生成隨機(jī)日期字符串的方法,涉及Python日期時(shí)間及隨機(jī)數(shù)運(yùn)算相關(guān)操作技巧,需要的朋友可以參考下2017-12-12