我就廢話不多說(shuō)了，大家還是直接看代碼吧~

import torch.nn as nn
import torch.nn.functional as F
import torch.nn as nn
 
class AlexNet_1(nn.Module):
 
  def __init__(self, num_classes=n):
    super(AlexNet, self).__init__()
    self.features = nn.Sequential(
      nn.Conv2d(3, 64, kernel_size=3, stride=2, padding=1),
      nn.BatchNorm2d(64),
      nn.ReLU(inplace=True),
     )
 
  def forward(self, x):
    x = self.features(x)
 
class AlexNet_2(nn.Module):
 
  def __init__(self, num_classes=n):
    super(AlexNet, self).__init__()
    self.features = nn.Sequential(
      nn.Conv2d(3, 64, kernel_size=3, stride=2, padding=1),
      nn.BatchNorm2d(64),
     )
 
  def forward(self, x):
    x = self.features(x)
    x = F.ReLU(x)

在如上網(wǎng)絡(luò)中，AlexNet_1與AlexNet_2實(shí)現(xiàn)的結(jié)果是一致的，但是可以看到將ReLU層添加到網(wǎng)絡(luò)有兩種不同的實(shí)現(xiàn)，即nn.ReLU和F.ReLU兩種實(shí)現(xiàn)方法。

其中nn.ReLU作為一個(gè)層結(jié)構(gòu)，必須添加到nn.Module容器中才能使用，而F.ReLU則作為一個(gè)函數(shù)調(diào)用，看上去作為一個(gè)函數(shù)調(diào)用更方便更簡(jiǎn)潔。具體使用哪種方式，取決于編程風(fēng)格。

在PyTorch中,nn.X都有對(duì)應(yīng)的函數(shù)版本F.X，但是并不是所有的F.X均可以用于forward或其它代碼段中，因?yàn)楫?dāng)網(wǎng)絡(luò)模型訓(xùn)練完畢時(shí)，在存儲(chǔ)model時(shí)，在forward中的F.X函數(shù)中的參數(shù)是無(wú)法保存的。

也就是說(shuō)，在forward中，使用的F.X函數(shù)一般均沒(méi)有狀態(tài)參數(shù)，比如F.ReLU，F(xiàn).avg_pool2d等，均沒(méi)有參數(shù)，它們可以用在任何代碼片段中。

補(bǔ)充知識(shí)：pytorch小知識(shí)點(diǎn)——in-place operation

一、什么是in-place

在pytorch的很多函數(shù)中經(jīng)?？吹絠n-place選項(xiàng)，具體是什么意思一直一知半解。這次專門(mén)來(lái)學(xué)習(xí)一下，in-place operation在pytorch中是指改變一個(gè)tensor的值的時(shí)候，不經(jīng)過(guò)復(fù)制操作，而是直接在原來(lái)的內(nèi)存上改變它的值?？梢园阉Q為原地操作符。

在pytorch中經(jīng)常加后綴“_”來(lái)代表原地in-place operation，比如說(shuō).add_() 或者.scatter()。我們可以將in_place操作簡(jiǎn)單的理解類似于python中的"+=","-="等操作。

舉個(gè)例子，下面是正常的加操作，執(zhí)行結(jié)束后x的值沒(méi)有變化

import torch
x = torch.rand(2)
x
Out[3]: tensor([0.3486, 0.2924])  #<-----這是x初始值
 
y = torch.rand(2)
y
Out[5]: tensor([0.6301, 0.0101])  #<-----這是y初始值
x.add(y)
Out[6]: tensor([0.9788, 0.3026])   #<-----這是x+y的結(jié)果
x
Out[7]: tensor([0.3486, 0.2924])  #<-----這是執(zhí)行操作之后x的值
y
Out[8]: tensor([0.6301, 0.0101])   #<-----這是執(zhí)行操作之后y的值

我們可以發(fā)現(xiàn)，在正常操作之后原操作數(shù)的值不會(huì)發(fā)生變化。

下面我們來(lái)看看in_place操作

import torch
x = torch.rand(2)
x
Out[3]: tensor([0.3486, 0.2924])  #<-----這是x初始值
y = torch.rand(2)
y
Out[5]: tensor([0.6301, 0.0101])  #<-----這是y初始值
x.add_(y)
Out[9]: tensor([0.9788, 0.3026])  #<-----這是x+y結(jié)果
x
Out[10]: tensor([0.9788, 0.3026]) #<-----這是操作后x的值
y
Out[11]: tensor([0.6301, 0.0101])  #<-----這是操作后y的值

通過(guò)對(duì)比可以發(fā)現(xiàn)，in_place操作之后，原操作數(shù)等于表達(dá)式計(jì)算結(jié)果。也就是說(shuō)將計(jì)算結(jié)果賦給了原操作數(shù)。

二、不能使用in-place的情況

對(duì)于 requires_grad=True 的 葉子張量(leaf tensor) 不能使用 inplace operation

對(duì)于在 求梯度階段需要用到的張量 不能使用 inplace operation

以上這篇PyTorch之nn.ReLU與F.ReLU的區(qū)別介紹就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

最新評(píng)論