Pytorch中的自動(dòng)求梯度機(jī)制和Variable類實(shí)例
自動(dòng)求導(dǎo)機(jī)制是每一個(gè)深度學(xué)習(xí)框架中重要的性質(zhì)，免去了手動(dòng)計(jì)算導(dǎo)數(shù)，下面用代碼介紹并舉例說明Pytorch的自動(dòng)求導(dǎo)機(jī)制。
首先介紹Variable，Variable是對(duì)Tensor的一個(gè)封裝，操作和Tensor是一樣的，但是每個(gè)Variable都有三個(gè)屬性：Varibale的Tensor本身的.data，對(duì)應(yīng)Tensor的梯度.grad，以及這個(gè)Variable是通過什么方式得到的.grad_fn，根據(jù)最新消息，在pytorch0.4更新后，torch和torch.autograd.Variable現(xiàn)在是同一類。torch.Tensor能像Variable那樣追蹤歷史和反向傳播。Variable仍能正確工作，但是返回的是Tensor。
我們擁抱這些新特性，看看Pytorch怎么進(jìn)行自動(dòng)求梯度。
#encoding:utf-8 import torch x = torch.tensor([2.],requires_grad=True) #新建一個(gè)tensor,允許自動(dòng)求梯度,這一項(xiàng)默認(rèn)是false. y = (x+2)**2 + 3 #y的表達(dá)式中包含x,因此y能進(jìn)行自動(dòng)求梯度 y.backward() print(x.grad)
輸出結(jié)果是：
tensor([8.])
這里添加一個(gè)小知識(shí)點(diǎn)，即torch.Tensor和torch.tensor的不同。二者均可以生成新的張量，但torch.Tensor()是python類，是默認(rèn)張量類型torch.FloatTensor()的別名，使用torch.Tensor()會(huì)調(diào)用構(gòu)造函數(shù)，生成單精度浮點(diǎn)類型的張量。
而torch.tensor()是函數(shù)，其中data可以是list,tuple,numpy,ndarray,scalar和其他類型，但只有浮點(diǎn)類型的張量能夠自動(dòng)求梯度。
torch.tensor(data, dtype=None, device=None, requires_grad=False)
言歸正傳，上一個(gè)例子的變量本質(zhì)上是標(biāo)量。下面一個(gè)例子對(duì)矩陣求導(dǎo)。
#encoding:utf-8 import torch x = torch.ones((2,4),requires_grad=True) y = torch.ones((2,1),requires_grad=True) W = torch.ones((4,1),requires_grad=True) J = torch.sum(y - torch.matmul(x,W)) #torch.matmul()表示對(duì)矩陣作乘法 J.backward() print(x.grad) print(y.grad) print(W.grad)
輸出結(jié)果是：
tensor([[-1., -1., -1., -1.], [-1., -1., -1., -1.]]) tensor([[1.], [1.]]) tensor([[-2.], [-2.], [-2.], [-2.]])
以上這篇Pytorch中的自動(dòng)求梯度機(jī)制和Variable類實(shí)例就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
Django + Uwsgi + Nginx 實(shí)現(xiàn)生產(chǎn)環(huán)境部署的方法
Django的部署可以有很多方式，采用nginx+uwsgi的方式是其中比較常見的一種方式。這篇文章主要介紹了Django + Uwsgi + Nginx 實(shí)現(xiàn)生產(chǎn)環(huán)境部署，感興趣的小伙伴們可以參考一下2018-06-06
Django 后臺(tái)獲取文件列表 InMemoryUploadedFile的例子
今天小編就為大家分享一篇Django 后臺(tái)獲取文件列表 InMemoryUploadedFile的例子，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-08-08
Spring @Enable模塊驅(qū)動(dòng)原理及使用實(shí)例
這篇文章主要介紹了Spring @Enable模塊驅(qū)動(dòng)原理及使用實(shí)例,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-06-06
Python中的Request請(qǐng)求重試機(jī)制
這篇文章主要介紹了Python中的Request請(qǐng)求重試機(jī)制,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-06-06
Python深度學(xué)習(xí)之使用Pytorch搭建ShuffleNetv2
這篇文章主要介紹了Python深度學(xué)習(xí)之使用Pytorch搭建ShuffleNetv2,文中有非常詳細(xì)的圖文示例,對(duì)正在學(xué)習(xí)python的小伙伴們有非常好的幫助,需要的朋友可以參考下2021-05-05
迭代器和生成器都是Python中特有的概念，迭代器可以看作是一個(gè)特殊的對(duì)象，每次調(diào)用該對(duì)象時(shí)會(huì)返回自身的下一個(gè)元素，從實(shí)現(xiàn)上來看，一個(gè)可迭代的對(duì)象必須是定義了__iter__()方法的對(duì)象，而一個(gè)迭代器必須是定義了__iter__()方法和next()方法的對(duì)象。2016-03-03
這篇文章主要介紹了python 內(nèi)置函數(shù)匯總詳解,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-09-09
Python中zip()函數(shù)的解釋和可視化(實(shí)例詳解)
zip() 函數(shù)用于將可迭代的對(duì)象作為參數(shù)，將對(duì)象中對(duì)應(yīng)的元素打包成一個(gè)個(gè)元組，然后返回由這些元組組成的列表。這篇文章主要介紹了Python中zip()函數(shù)的解釋和可視化,需要的朋友可以參考下2020-02-02
django應(yīng)用JWT(JSON?Web?Token)實(shí)戰(zhàn)教程
在前后端分離的項(xiàng)目中,JWT（JSON?Web?Token）作為一種廣泛使用的身份驗(yàn)證和授權(quán)機(jī)制,提供了一種安全、高效的方式來保護(hù)RESTful?API,本文詳細(xì)介紹了JWT的概念、優(yōu)勢(shì)、在Django中的應(yīng)用步驟和使用方法,是構(gòu)建安全、高效Web應(yīng)用的有效指南2024-10-10
在實(shí)際項(xiàng)目中,往往有這樣的需求:對(duì)采集到的數(shù)據(jù)進(jìn)行數(shù)據(jù)處理(曲線擬合),再計(jì)算出一些想要的參數(shù),比如峰值/dip值/周期等等,下面這篇文章主要給大家介紹了關(guān)于如何利用Python擬合函數(shù)曲線的相關(guān)資料,需要的朋友可以參考下2022-04-04