快捷導(dǎo)航

pytorch中Dropout的具體用法

更新時(shí)間：2025年12月24日 09:48:47 作者：byxdaz

Dropout是一種常用的正則化技術(shù),用于防止神經(jīng)網(wǎng)絡(luò)過(guò)擬合,PyTorch 提供了nn.Dropout層來(lái)實(shí)現(xiàn)這一功能,下面就來(lái)介紹一下如何使用,感興趣的可以了解一下

基本用法

torch.nn.Dropout(p=0.5, inplace=False)

參數(shù)說(shuō)明：

p (float): 每個(gè)元素被置為0的概率（默認(rèn)0.5）
inplace (bool): 是否原地操作（默認(rèn)False）

工作原理

在前向傳播時(shí)，Dropout 會(huì)以概率 p 隨機(jī)將輸入張量的某些元素置為0
未被置0的元素會(huì)被縮放為 1/(1-p) 倍（為了保持訓(xùn)練和測(cè)試時(shí)的期望值一致）
在評(píng)估模式（eval()）下，Dropout 層不會(huì)執(zhí)行任何操作

在訓(xùn)練時(shí)，Dropout 的輸出可以表示為：

其中 mm 是一個(gè)伯努利隨機(jī)變量矩陣（元素為0或1），pp 是dropout概率。

在測(cè)試時(shí)，模型直接使用原始輸入：

使用示例

1. 基本使用

import torch
import torch.nn as nn

# 創(chuàng)建Dropout層，置0概率為0.3
dropout = nn.Dropout(p=0.3)

# 創(chuàng)建一個(gè)隨機(jī)輸入
input = torch.randn(5, 3)
print("原始輸入:\n", input)

# 訓(xùn)練模式下的輸出
output = dropout(input)
print("\nDropout輸出:\n", output)

2. 在神經(jīng)網(wǎng)絡(luò)中使用

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(784, 512)
        self.dropout = nn.Dropout(p=0.2)  # 20%的dropout
        self.fc2 = nn.Linear(512, 10)
        
    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = self.dropout(x)  # 應(yīng)用dropout
        x = self.fc2(x)
        return x

3. 訓(xùn)練和評(píng)估模式切換

model = Net()

# 訓(xùn)練模式（啟用dropout）
model.train()
output_train = model(torch.randn(1, 784))

# 評(píng)估模式（禁用dropout）
model.eval()
output_eval = model(torch.randn(1, 784))

注意事項(xiàng)

訓(xùn)練與測(cè)試的區(qū)別：Dropout 只在訓(xùn)練時(shí)激活，在測(cè)試/評(píng)估時(shí)自動(dòng)關(guān)閉
概率選擇：通常使用0.2-0.5之間的概率，輸入層可以使用更高的概率
縮放因子：PyTorch 自動(dòng)實(shí)現(xiàn)了縮放（乘以1/(1-p)），無(wú)需手動(dòng)處理
與BatchNorm配合：Dropout 和 BatchNorm 一起使用時(shí)可能需要調(diào)整學(xué)習(xí)率