快捷導(dǎo)航

淺析pytorch中對(duì)nn.BatchNorm2d()函數(shù)的理解

更新時(shí)間：2023年11月15日 16:48:30 作者：Code_LiShi

Batch Normalization強(qiáng)行將數(shù)據(jù)拉回到均值為0,方差為1的正太分布上,一方面使得數(shù)據(jù)分布一致,另一方面避免梯度消失,這篇文章主要介紹了pytorch中對(duì)nn.BatchNorm2d()函數(shù)的理解,需要的朋友可以參考下

簡(jiǎn)介

機(jī)器學(xué)習(xí)中，進(jìn)行模型訓(xùn)練之前，需對(duì)數(shù)據(jù)做歸一化處理，使其分布一致。在深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，通常一次訓(xùn)練是一個(gè)batch，而非全體數(shù)據(jù)。每個(gè)batch具有不同的分布產(chǎn)生了internal covarivate shift問題——在訓(xùn)練過程中，數(shù)據(jù)分布會(huì)發(fā)生變化，對(duì)下一層網(wǎng)絡(luò)的學(xué)習(xí)帶來困難。Batch Normalization強(qiáng)行將數(shù)據(jù)拉回到均值為0，方差為1的正太分布上，一方面使得數(shù)據(jù)分布一致，另一方面避免梯度消失。

計(jì)算

如圖所示：

3. Pytorch的nn.BatchNorm2d()函數(shù)

其主要需要輸入4個(gè)參數(shù)：
（1）num_features：輸入數(shù)據(jù)的shape一般為[batch_size, channel, height, width], num_features為其中的channel;
（2）eps: 分母中添加的一個(gè)值，目的是為了計(jì)算的穩(wěn)定性，默認(rèn)：1e-5;
（3）momentum: 一個(gè)用于運(yùn)行過程中均值和方差的一個(gè)估計(jì)參數(shù)，默認(rèn)值為0.1.

（4）affine：當(dāng)設(shè)為true時(shí)，給定可以學(xué)習(xí)的系數(shù)矩陣 γ \gamma γ和 β \beta β

4 代碼示例

import torch
data = torch.ones(size=(2, 2, 3, 4))
data[0][0][0][0] = 25
print("data = ", data)
print("\n")
print("=========================使用封裝的BatchNorm2d()計(jì)算================================")
BN = torch.nn.BatchNorm2d(num_features=2, eps=0, momentum=0)
BN_data = BN(data)
print("BN_data = ", BN_data)
print("\n")
print("=========================自行計(jì)算================================")
x = torch.cat((data[0][0], data[1][0]), dim=1)      # 1.將同一通道進(jìn)行拼接（即把同一通道當(dāng)作一個(gè)整體）
x_mean = torch.Tensor.mean(x)                       # 2.計(jì)算同一通道所有制的均值（即拼接后的均值）
x_var = torch.Tensor.var(x, False)                  # 3.計(jì)算同一通道所有制的方差（即拼接后的方差）
# 4.使用第一個(gè)數(shù)按照公式來求BatchNorm后的值
bn_first = ((data[0][0][0][0] - x_mean) / ( torch.pow(x_var, 0.5))) * BN.weight[0] + BN.bias[0]
print("bn_first = ", bn_first)

到此這篇關(guān)于pytorch中對(duì)nn.BatchNorm2d()函數(shù)的理解的文章就介紹到這了,更多相關(guān)pytorch nn.BatchNorm2d()函數(shù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: