快捷導(dǎo)航

淺談pytorch中的dropout的概率p

更新時(shí)間：2021年05月27日 10:57:52 作者：小可愛(ài)123

這篇文章主要介紹了淺談pytorch中的dropout的概率p，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

最近需要訓(xùn)練一個(gè)模型，在優(yōu)化模型時(shí)用了dropout函數(shù)，為了減少過(guò)擬合。

訓(xùn)練的時(shí)候用dropout，測(cè)試的時(shí)候不用dropout。剛開(kāi)始以為p是保留神經(jīng)元的比率，訓(xùn)練設(shè)置0.5，測(cè)試設(shè)置1，loss根本沒(méi)減小過(guò)，全設(shè)置成1也是一樣的效果，后來(lái)就考慮到是不是p設(shè)置錯(cuò)了。

上網(wǎng)一搜，果然是的?。?！p的含義理解錯(cuò)了！不是保留的，而是不保留的！

具體的代碼為：

x2 = F.dropout(x1, p)

x1是上一層網(wǎng)絡(luò)的輸出，p是需要?jiǎng)h除的神經(jīng)元的比例。

當(dāng)p=0時(shí)，保留全部神經(jīng)元更新。當(dāng)p=1時(shí)，神經(jīng)元輸出的值都為0。

補(bǔ)充：Pytorch--Dropout筆記

dropout常常用于抑制過(guò)擬合，pytorch也提供了很方便的函數(shù)。但是經(jīng)常不知道dropout的參數(shù)p是什么意思。

在TensorFlow中p叫做keep_prob,就一直以為pytorch中的p應(yīng)該就是保留節(jié)點(diǎn)數(shù)的比例，但是實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)反了，實(shí)際上表示的是不保留節(jié)點(diǎn)數(shù)的比例。

看下面的例子：

a = torch.randn(10,1)
>>> tensor([[ 0.0684],
        [-0.2395],
        [ 0.0785],
        [-0.3815],
        [-0.6080],
        [-0.1690],
        [ 1.0285],
        [ 1.1213],
        [ 0.5261],
        [ 1.1664]])

p=0.5

torch.nn.Dropout(0.5)(a)
>>> tensor([[ 0.0000],  
        [-0.0000],  
        [ 0.0000],  
        [-0.7631],  
        [-0.0000],  
        [-0.0000],  
        [ 0.0000],  
        [ 0.0000],  
        [ 1.0521],  
        [ 2.3328]])

p=0

torch.nn.Dropout(0)(a)
>>> tensor([[ 0.0684],
        [-0.2395],
        [ 0.0785],
        [-0.3815],
        [-0.6080],
        [-0.1690],
        [ 1.0285],
        [ 1.1213],
        [ 0.5261],
        [ 1.1664]])

p=1

torch.nn.Dropout(0)(a)
>>> tensor([[0.],  
        [-0.], 
        [0.],  
        [-0.], 
        [-0.], 
        [-0.], 
        [0.],  
        [0.],  
        [0.],  
        [0.]])

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

Python高級(jí)技巧之利用psutil和subprocess實(shí)現(xiàn)程序監(jiān)控與管理
本文介紹了如何使用Python的psutil和subprocess模塊監(jiān)控程序運(yùn)行狀態(tài),并提供了一個(gè)案例腳本,用于監(jiān)控目標(biāo)程序并在停止時(shí)自動(dòng)重啟,詳細(xì)介紹了subprocess模塊的基本用法和psutil模塊的系統(tǒng)信息獲取、進(jìn)程管理及資源監(jiān)控功能,需要的朋友可以參考下
2024-09-09
講解Python中fileno()方法的使用
這篇文章主要介紹了講解Python中fileno()方法的使用,是Python入門(mén)中的基礎(chǔ)知識(shí),需要的朋友可以參考下
2015-05-05
20個(gè)Python常用技巧分享
Python的可讀性和簡(jiǎn)單性是其廣受歡迎的兩大原因，本文介紹20個(gè)常用的Python技巧來(lái)提高代碼的可讀性，并能幫助你節(jié)省大量時(shí)間，下面的技巧將在你的日常編碼練習(xí)中非常實(shí)用
2023-04-04
python求加權(quán)平均值的實(shí)例(附純python寫(xiě)法)
今天小編就為大家分享一篇python求加權(quán)平均值的實(shí)例(附純python寫(xiě)法)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2019-08-08
Python數(shù)據(jù)結(jié)構(gòu)與算法中的棧詳解(1)
這篇文章主要為大家詳細(xì)介紹了Python中的棧，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來(lái)幫助
2022-03-03
詳解Python用三種方式統(tǒng)計(jì)詞頻的方法
這篇文章主要介紹了Python用三種方式統(tǒng)計(jì)詞頻，每種方法給大家介紹的非常詳細(xì),需要的朋友可以參考下
2019-07-07
python模塊導(dǎo)入的細(xì)節(jié)詳解
這篇文章主要給大家介紹了關(guān)于python模塊導(dǎo)入細(xì)節(jié)的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2018-12-12
Python json模塊使用實(shí)例
這篇文章主要介紹了Python json模塊使用實(shí)例,本文給出多個(gè)使用代碼實(shí)例,需要的朋友可以參考下
2015-04-04
python使用mitmproxy抓取瀏覽器請(qǐng)求的方法
今天小編就為大家分享一篇python使用mitmproxy抓取瀏覽器請(qǐng)求的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2019-07-07
python打印異常信息的兩種實(shí)現(xiàn)方式
今天小編就為大家分享一篇python打印異常信息的兩種實(shí)現(xiàn)方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2019-12-12