pytorch如何凍結(jié)某層參數(shù)的實現(xiàn)
更新時間：2020年01月10日 11:15:01 作者：Pr4da
這篇文章主要介紹了pytorch如何凍結(jié)某層參數(shù)的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
在遷移學(xué)習(xí)finetune時我們通常需要凍結(jié)前幾層的參數(shù)不參與訓(xùn)練，在Pytorch中的實現(xiàn)如下：
class Model(nn.Module): def __init__(self): super(Transfer_model, self).__init__() self.linear1 = nn.Linear(20, 50) self.linear2 = nn.Linear(50, 20) self.linear3 = nn.Linear(20, 2) def forward(self, x): pass
假如我們想要凍結(jié)linear1層，需要做如下操作：
model = Model() # 這里是一般情況，共享層往往不止一層，所以做一個for循環(huán) for para in model.linear1.parameters(): para.requires_grad = False # 假如真的只有一層也可以這樣操作： # model.linear1.weight.requires_grad = False
最后我們需要將需要優(yōu)化的參數(shù)傳入優(yōu)化器，不需要傳入的參數(shù)過濾掉，所以要用到filter()函數(shù)。
optimizer = optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr=0.1)
其它的博客中都沒有講解filter()函數(shù)的作用，在這里我簡單講一下有助于更好的理解。
filter(function, iterable)
- function: 判斷函數(shù)
- iterable: 可迭代對象
filter() 函數(shù)用于過濾序列，過濾掉不符合條件的元素，返回一個迭代器對象，如果要轉(zhuǎn)換為列表，可以使用 list() 來轉(zhuǎn)換。
該接收兩個參數(shù)，第一個為函數(shù)，第二個為序列，序列的每個元素作為參數(shù)傳遞給函數(shù)進行判，然后返回 True 或 False，最后將返回 True 的元素放到新列表中。
filter()函數(shù)將requires_grad = True的參數(shù)傳入優(yōu)化器進行反向傳播，requires_grad = False的則被過濾掉。
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了Python用三種方式統(tǒng)計詞頻，每種方法給大家介紹的非常詳細,需要的朋友可以參考下2019-07-07
今天小編就為大家分享一篇詳談tensorflow gfile文件的用法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02
GUI圖形用戶界面是一種允許用戶通過圖形元素（如圖標、按鈕、窗口等）與電子設(shè)備進行交互的用戶界面,下面這篇文章主要給大家介紹了關(guān)于Python中常用的GUI(圖形用戶界面)庫用法的相關(guān)資料,需要的朋友可以參考下2024-08-08
Python內(nèi)置函數(shù)input()示例詳解
input()函數(shù)是Python中用于獲取用戶輸入的一個簡單而強大的工具,它在創(chuàng)建需要用戶交互的程序時非常有用,這篇文章主要介紹了Python內(nèi)置函數(shù)input()詳解,需要的朋友可以參考下2024-04-04
Python drop方法刪除列之inplace參數(shù)實例
這篇文章主要介紹了Python drop方法刪除列之inplace參數(shù)實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
pytorch中的permute就像是numpy中的transpose()函數(shù)一樣,根據(jù)指定的維度進行轉(zhuǎn)置,下面這篇文章主要給大家介紹了關(guān)于PyTorch中permute的基本用法,需要的朋友可以參考下2022-04-04
Python Web開發(fā)模板引擎優(yōu)缺點總結(jié)
這篇文章主要介紹了Python Web開發(fā)模板引擎優(yōu)缺點總結(jié),需要的朋友可以參考下2014-05-05
這篇文章主要介紹了python遍歷路徑破解表單的示例，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2020-11-11
Python的Flask框架應(yīng)用調(diào)用Redis隊列數(shù)據(jù)的方法
這里為大家?guī)鞵ython的Flask框架應(yīng)用調(diào)用Redis隊列數(shù)據(jù)的方法,從而能夠?qū)崿F(xiàn)異步無阻塞從而提高某些實時處理情況下程序的性能,需要的朋友可以參考下2016-06-06
本文介紹了Python中的上下文管理器，以及如何結(jié)合with語句來使用上下文管理器，并且總結(jié)了一下with 語句的執(zhí)行流程。在很多情況下，with語句可以簡化代碼，并增加代碼的健壯性。2017-10-10