在?pytorch?中實(shí)現(xiàn)計(jì)算圖和自動(dòng)求導(dǎo)
前言：
今天聊一聊 pytorch 的計(jì)算圖和自動(dòng)求導(dǎo)，我們先從一個(gè)簡單例子來看，下面是一個(gè)簡單函數(shù)建立了 yy 和 xx 之間的關(guān)系
然后我們結(jié)點(diǎn)和邊形式表示上面公式：
上面的式子可以用圖的形式表達(dá)，接下來我們用 torch 來計(jì)算 x 導(dǎo)數(shù)，首先我們創(chuàng)建一個(gè) tensor 并且將其requires_grad設(shè)置為True表示隨后反向傳播會(huì)對(duì)其進(jìn)行求導(dǎo)。
x = torch.tensor(3.,requires_grad=True)
然后寫出
y = 3*x**2 + 4*x + 2
y.backward() x.grad
通過調(diào)用y.backward()來進(jìn)行求導(dǎo)，這時(shí)就可以通過x.grad來獲得x的導(dǎo)數(shù)
x.requires_grad_(False)
可以通過requires_grad_讓x不參與到自動(dòng)求導(dǎo)
for epoch in range(3): y = 3*x**2 + 4*x + 2 y.backward() print(x.grad) x.grad.zero_()
如果這里沒有調(diào)用x.grad_zero_()就是把每次求導(dǎo)數(shù)和上一次求導(dǎo)結(jié)果進(jìn)行累加。
鏈?zhǔn)椒▌t
相對(duì)于 z 對(duì) x 求偏導(dǎo)時(shí)，我們可以將 y 看成常數(shù)，這樣 x 導(dǎo)數(shù)是 1 那么
x = torch.tensor([1.,2.,3.],requires_grad=True)
y = x * 2 + 3 z = y **2
out = z.mean() out.backward()
print(out) #tensor(51.6667, grad_fn=<MeanBackward0>)
print(x.grad) #tensor([ 6.6667, 9.3333, 12.0000])
對(duì)于一個(gè)簡單的網(wǎng)絡(luò)，我們可以手動(dòng)計(jì)算梯度，但是如果擺在你面前的是一個(gè)有152 層的網(wǎng)絡(luò)怎么辦？或者該網(wǎng)絡(luò)有多個(gè)分支。這時(shí)你的計(jì)算復(fù)雜程度可想而知。接下來會(huì)帶來更深入自動(dòng)求導(dǎo)內(nèi)部機(jī)制
到此這篇關(guān)于在 pytorch 中實(shí)現(xiàn)計(jì)算圖和自動(dòng)求導(dǎo)的文章就介紹到這了,更多相關(guān) pytorch 計(jì)算圖 內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
- 使用pytorch進(jìn)行張量計(jì)算、自動(dòng)求導(dǎo)和神經(jīng)網(wǎng)絡(luò)構(gòu)建功能
- pytorch如何定義新的自動(dòng)求導(dǎo)函數(shù)
- Pytorch自動(dòng)求導(dǎo)函數(shù)詳解流程以及與TensorFlow搭建網(wǎng)絡(luò)的對(duì)比
- 淺談Pytorch中的自動(dòng)求導(dǎo)函數(shù)backward()所需參數(shù)的含義
- pytorch中的自定義反向傳播,求導(dǎo)實(shí)例
- 關(guān)于PyTorch 自動(dòng)求導(dǎo)機(jī)制詳解
- Pytorch反向求導(dǎo)更新網(wǎng)絡(luò)參數(shù)的方法
- 關(guān)于pytorch求導(dǎo)總結(jié)(torch.autograd)
相關(guān)文章
python輕松辦公將100個(gè)Excel中符合條件的數(shù)據(jù)匯總到1個(gè)Excel里
這篇文章主要為大家介紹了python輕松辦公將100個(gè)Excel中符合條件的數(shù)據(jù)匯總到1個(gè)Excel里示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-03-03
Python+Selenium自動(dòng)化環(huán)境搭建與操作基礎(chǔ)詳解
Selenium是如今最常用的自動(dòng)化測(cè)試工具之一,支持快速開發(fā)自動(dòng)化測(cè)試框架,且支持在多種瀏覽器上執(zhí)行測(cè)試。本文將介紹關(guān)于Selenium?Python自動(dòng)化腳本環(huán)境搭建的相關(guān)資料,需要的朋友可以參考下2022-03-03
這篇文章主要介紹了Python中類的mro與繼承關(guān)系，文章圍繞主題展開初步認(rèn)識(shí)mro的解析順序，具有一定的參考價(jià)值。需要的朋友可以參考一下2022-07-07
基于Python制作一個(gè)多進(jìn)制轉(zhuǎn)換工具
這篇文章主要介紹了如何利用Python制作一個(gè)多進(jìn)制轉(zhuǎn)換工具，可以實(shí)現(xiàn)2進(jìn)制、4進(jìn)制、8進(jìn)制、10進(jìn)制、16進(jìn)制、32進(jìn)制直接的互轉(zhuǎn)，需要的可以參考一下2022-02-02
Python環(huán)境的安裝以及PyCharm編輯器配置教程詳解
優(yōu)質(zhì)的教程可以讓我們少走很多彎路，這一點(diǎn)毋庸置疑。這篇文章主要為大家介紹了純凈Python環(huán)境的安裝以及PyCharm編輯器的配置，需要的可以參考一下2023-04-04
python實(shí)現(xiàn)簡單的名片管理系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)名片管理系統(tǒng)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-04-04
python爬蟲Mitmproxy安裝使用學(xué)習(xí)筆記
這篇文章主要介紹了python爬蟲Mitmproxy學(xué)習(xí)筆記分享，有需要的朋友可以收藏學(xué)習(xí)下，希望可以對(duì)你有所幫助，大家一起共同學(xué)習(xí)，共同進(jìn)步2021-09-09
Python 生成 -1~1 之間的隨機(jī)數(shù)矩陣方法
今天小編就為大家分享一篇Python 生成 -1~1 之間的隨機(jī)數(shù)矩陣方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-08-08
這篇文章主要介紹了Python numpy矩陣處理運(yùn)算工具用法匯總,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2021-10-10
這篇文章主要介紹了基于python 等頻分箱qcut問題的解決，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-03-03