pytorch 共享參數(shù)的示例
更新時間：2019年08月17日 13:37:45 作者：馬管子
今天小編就為大家分享一篇pytorch 共享參數(shù)的示例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
在很多神經(jīng)網(wǎng)絡(luò)中，往往會出現(xiàn)多個層共享一個權(quán)重的情況，pytorch可以快速地處理權(quán)重共享問題。
例子1：
class ConvNet(nn.Module):
def __init__(self):
super(ConvNet, self).__init__()
self.conv_weight = nn.Parameter(torch.randn(3, 3, 5, 5))
def forward(self, x):
x = nn.functional.conv2d(x, self.conv_weight, bias=None, stride=1, padding=2, dilation=1, groups=1)
x = nn.functional.conv2d(x, self.conv_weight.transpose(2, 3).contiguous(), bias=None, stride=1, padding=0, dilation=1,
groups=1)
return x
上邊這段程序定義了兩個卷積層，這兩個卷積層共享一個權(quán)重conv_weight，第一個卷積層的權(quán)重是conv_weight本身，第二個卷積層是conv_weight的轉(zhuǎn)置。注意在gpu上運行時，transpose()后邊必須加上.contiguous()使轉(zhuǎn)置操作連續(xù)化，否則會報錯。
例子2：
class LinearNet(nn.Module):
def __init__(self):
super(LinearNet, self).__init__()
self.linear_weight = nn.Parameter(torch.randn(3, 3))
def forward(self, x):
x = nn.functional.linear(x, self.linear_weight)
x = nn.functional.linear(x, self.linear_weight.t())
return x
這個網(wǎng)絡(luò)實現(xiàn)了一個雙層感知器，權(quán)重同樣是一個parameter的本身及其轉(zhuǎn)置。
例子3：
class LinearNet2(nn.Module):
def __init__(self):
super(LinearNet2, self).__init__()
self.w = nn.Parameter(torch.FloatTensor([[1.1,0,0], [0,1,0], [0,0,1]]))
def forward(self, x):
x = x.mm(self.w)
x = x.mm(self.w.t())
return x
這個方法直接用mm函數(shù)將x與w相乘，與上邊的網(wǎng)絡(luò)效果相同。
以上這篇pytorch 共享參數(shù)的示例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了Python中的文件I/O操作,是Python入門中的基礎(chǔ)知識,需要的朋友可以參考下2015-05-05
今天小編就為大家分享一篇python實現(xiàn)一個簡單的ping工具方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
本文主要介紹了np.array()函數(shù)的使用方法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02
這篇文章主要為大家介紹了python從gbff文件中直接提取cds序列示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-07-07
這篇文章主要介紹了python 登錄并爬取淘寶信息代碼示例，具有一定借鑒價值，需要的朋友可以了解下。2017-12-12
保護文檔內(nèi)容是常見的需求,但有時我們可能會忘記或丟失文檔的密碼,導(dǎo)致無法訪問重要信息,本文將介紹如何使用Python創(chuàng)建一個簡單而實用的文檔密碼移除工具,需要的可以參考下2023-12-12
這篇文章主要介紹了Python中的pyecharts庫使用總結(jié),Pyecharts 提供了一個簡單而直觀的 API 接口,使得使用者無需了解復(fù)雜的 JavaScript 語法,即可通過 Python 代碼實現(xiàn)高度定制化的圖表設(shè)計,需要的朋友可以參考下2023-12-12
Python實現(xiàn)新型冠狀病毒傳播模型及預(yù)測代碼實例
在本篇文章里小編給大家整理的是關(guān)于Python實現(xiàn)新型冠狀病毒傳播模型及預(yù)測代碼內(nèi)容，有興趣的朋友們可以學(xué)習(xí)下。2020-02-02
今天小編就為大家分享一篇Python 列表的清空方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-01-01
這篇文章主要介紹了Django框架模板的使用方法,結(jié)合實例形式分析了Django框架模板的創(chuàng)建與使用相關(guān)操作技巧,需要的朋友可以參考下2019-05-05