簡單聊聊PyTorch里面的torch.nn.Parameter()
在刷官方Tutorial的時(shí)候發(fā)現(xiàn)了一個(gè)用法self.v = torch.nn.Parameter(torch.FloatTensor(hidden_size)),看了官方教程里面的解釋也是云里霧里，于是在棧溢網(wǎng)看到了一篇解釋，并做了幾個(gè)實(shí)驗(yàn)才算完全理解了這個(gè)函數(shù)。首先可以把這個(gè)函數(shù)理解為類型轉(zhuǎn)換函數(shù)，將一個(gè)不可訓(xùn)練的類型Tensor轉(zhuǎn)換成可以訓(xùn)練的類型parameter并將這個(gè)parameter綁定到這個(gè)module里面(net.parameter()中就有這個(gè)綁定的parameter，所以在參數(shù)優(yōu)化的時(shí)候可以進(jìn)行優(yōu)化的)，所以經(jīng)過類型轉(zhuǎn)換這個(gè)self.v變成了模型的一部分，成為了模型中根據(jù)訓(xùn)練可以改動(dòng)的參數(shù)了。使用這個(gè)函數(shù)的目的也是想讓某些變量在學(xué)習(xí)的過程中不斷的修改其值以達(dá)到最優(yōu)化。
出現(xiàn)這個(gè)函數(shù)的地方
在concat注意力機(jī)制中，權(quán)值V是不斷學(xué)習(xí)的所以要是parameter類型。
通過做下面的實(shí)驗(yàn)發(fā)現(xiàn)，linear里面的weight和bias就是parameter類型，且不能夠使用tensor類型替換，還有l(wèi)inear里面的weight甚至可能通過指定一個(gè)不同于初始化時(shí)候的形狀進(jìn)行模型的更改。
做的實(shí)驗(yàn)
self.v被綁定到模型中了，所以可以在訓(xùn)練的時(shí)候優(yōu)化
與torch.tensor([1,2,3],requires_grad=True)的區(qū)別，這個(gè)只是將參數(shù)變成可訓(xùn)練的，并沒有綁定在module的parameter列表中。
總結(jié)
到此這篇關(guān)于PyTorch里面的torch.nn.Parameter()的文章就介紹到這了,更多相關(guān)PyTorch的torch.nn.Parameter()內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
NumPy提供了多種存取數(shù)組內(nèi)容的文件操作函數(shù)。保存數(shù)組數(shù)據(jù)的文件可以是二進(jìn)制格式或者文本格式。這篇文章主要介紹了python利用numpy存取文件,需要的朋友可以參考下2019-09-09
scrapy數(shù)據(jù)存儲(chǔ)在mysql數(shù)據(jù)庫的兩種方式(同步和異步)
這篇文章主要介紹了scrapy數(shù)據(jù)存儲(chǔ)在mysql數(shù)據(jù)庫的兩種方式(同步和異步)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-02-02
分享5個(gè)方便好用的Python自動(dòng)化腳本
這篇文章主要介紹了分享5個(gè)方便好用的Python自動(dòng)化腳本，這次我們使用Python來實(shí)現(xiàn)幾個(gè)自動(dòng)化場景，或許可以用到你的工作中或者對你的學(xué)習(xí)有所幫助,需要的朋友可以參考一下2022-03-03
pandas中DataFrame的merge操作的實(shí)現(xiàn)
本文主要介紹了pandas中DataFrame的merge操作的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2024-07-07
pytorch?transforms圖像增強(qiáng)實(shí)現(xiàn)方法
這篇文章主要介紹了pytorch?transforms圖像增強(qiáng)的相關(guān)知識，本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2023-04-04
本文主要介紹了pytest用例執(zhí)行順序和跳過執(zhí)行詳解，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02
Python + selenium自動(dòng)化環(huán)境搭建的完整步驟
這篇文章主要給大家介紹了關(guān)于Python + selenium自動(dòng)化環(huán)境搭建的相關(guān)資料，文中通過圖文將實(shí)現(xiàn)的步驟一步步介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來一起看看吧2018-05-05
這篇文章主要介紹了python request post 列表的方法詳解，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-02-02
Python&Matlab實(shí)現(xiàn)灰狼優(yōu)化算法的示例代碼
灰狼優(yōu)化算法是一種群智能優(yōu)化算法，它的獨(dú)特之處在于一小部分擁有絕對話語權(quán)的灰狼帶領(lǐng)一群灰狼向獵物前進(jìn)。本文具體介紹了灰狼優(yōu)化算法的兩種實(shí)現(xiàn)示例代碼，需要的可以參考一下2022-03-03
pandas中字典和dataFrame的相互轉(zhuǎn)換
有時(shí)候需要把dic轉(zhuǎn)換為DataFrame格式,便于查看和存儲(chǔ),下面這篇文章主要給大家介紹了關(guān)于pandas中字典和dataFrame相互轉(zhuǎn)換的相關(guān)資料,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-09-09