快捷導航

pytorch 實現(xiàn)在測試的時候啟用dropout

更新時間：2021年05月27日 10:07:17 作者：qian99

這篇文章主要介紹了pytorch 實現(xiàn)在測試的時候啟用dropout的操作，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教

我們知道，dropout一般都在訓練的時候使用，那么測試的時候如何也開啟dropout呢？

在pytorch中，網(wǎng)絡(luò)有train和eval兩種模式，在train模式下，dropout和batch normalization會生效，而val模式下，dropout不生效，bn固定參數(shù)。

想要在測試的時候使用dropout，可以把dropout單獨設(shè)為train模式，這里可以使用apply函數(shù)：

def apply_dropout(m):
    if type(m) == nn.Dropout:
        m.train()

下面是完整demo代碼：

# coding: utf-8
import torch
import torch.nn as nn
import numpy as np
class SimpleNet(nn.Module):
    def __init__(self):
        super(SimpleNet, self).__init__()
        self.fc = nn.Linear(8, 8)
        self.dropout = nn.Dropout(0.5)
    def forward(self, x):
        x = self.fc(x)
        x = self.dropout(x)
        return x
net = SimpleNet()
x = torch.FloatTensor([1]*8)
net.train()
y = net(x)
print('train mode result: ', y)
net.eval()
y = net(x)
print('eval mode result: ', y)
net.eval()
y = net(x)
print('eval2 mode result: ', y)
def apply_dropout(m):
    if type(m) == nn.Dropout:
        m.train()
net.eval()
net.apply(apply_dropout)
y = net(x)
print('apply eval result:', y)

運行結(jié)果：

可以看到，在eval模式下，由于dropout未生效，每次跑的結(jié)果不同，利用apply函數(shù)，將Dropout單獨設(shè)為train模式，dropout就生效了。

補充：Pytorch之dropout避免過擬合測試

一.做數(shù)據(jù)

在這里插入圖片描述

二.搭建神經(jīng)網(wǎng)絡(luò)

三.訓練

在這里插入圖片描述

四.對比測試結(jié)果

注意：測試過程中，一定要注意模式切換

在這里插入圖片描述

以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

python如何將txt坐標批量打印到原圖上
這篇文章主要介紹了python如何將txt坐標批量打印到原圖上的問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
2023-08-08
Python matplotlib修改默認字體的操作
這篇文章主要介紹了Python matplotlib修改默認字體的操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-03-03
使用Keras構(gòu)造簡單的CNN網(wǎng)絡(luò)實例
這篇文章主要介紹了使用Keras構(gòu)造簡單的CNN網(wǎng)絡(luò)實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-06-06
新手入門Python編程的8個實用建議
這篇文章主要介紹了Python編程的8個實用建議,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
2019-07-07
CPython 垃圾收集器檢測循環(huán)引用詳解
這篇文章主要為大家介紹了CPython 垃圾收集器檢測循環(huán)引用詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪
2022-10-10
Python學習之12個常用基礎(chǔ)語法詳解
這篇文章主要為大家介紹了12個Python小案例，包含了日常開發(fā)中非常實用的語法，快來跟隨小編一起學習一下，看看自己都會多少個呢
2022-02-02
PyTorch中torch.load()的用法和應(yīng)用
torch.load()它用于加載由torch.save()保存的模型或張量,本文主要介紹了PyTorch中torch.load()的用法和應(yīng)用,具有一定的參考價值,感興趣的可以了解一下
2024-03-03
談一談數(shù)組拼接tf.concat()和np.concatenate()的區(qū)別
今天小編就為大家分享一篇談?wù)剶?shù)組拼接tf.concat()和np.concatenate()的區(qū)別，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-02-02
Python灰度變換中伽馬變換分析實現(xiàn)
灰度變換是指根據(jù)某種目標條件按一定變換關(guān)系逐點改變源圖像中每個像素灰度值的方法。目的是改善畫質(zhì)，使圖像顯示效果更加清晰。圖像的灰度變換處理是圖像增強處理技術(shù)中的一種非常基礎(chǔ)、直接的空間域圖像處理方法，也是圖像數(shù)字化軟件和圖像顯示軟件的一個重要組成部分
2022-10-10
從零開始理解如何使用Python搭建智能AI代理
Agentic AI（智能代理）正在悄然改變我們的工作方式,所以這篇文章小編就來和大家簡單介紹一下如何使用Python搭建智能AI代理,感興趣的小伙伴可以了解下
2025-07-07