最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Pytorch 如何實現(xiàn)常用正則化

 更新時間：2021年05月27日 10:35:32   作者：winycg  
這篇文章主要介紹了Pytorch 實現(xiàn)常用正則化的操作，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教

Stochastic Depth

論文：Deep Networks with Stochastic Depth

本文的正則化針對于ResNet中的殘差結(jié)構(gòu)，類似于dropout的原理，訓(xùn)練時對模塊進(jìn)行隨機(jī)的刪除，從而提升模型的泛化能力。

在這里插入圖片描述

對于上述的ResNet網(wǎng)絡(luò)，模塊越在后面被drop掉的概率越大。

作者直覺上認(rèn)為前期提取的低階特征會被用于后面的層。

第一個模塊保留的概率為1，之后保留概率隨著深度線性遞減。

對一個模塊的drop函數(shù)可以采用如下的方式實現(xiàn)：

def drop_connect(inputs, p, training):
    """ Drop connect. """
    if not training: return inputs # 測試階段
    batch_size = inputs.shape[0]
    keep_prob = 1 - p
    random_tensor = keep_prob
    random_tensor += torch.rand([batch_size, 1, 1, 1], dtype=inputs.dtype, device=inputs.device)
    # 以樣本為單位生成模塊是否被drop的01向量
    binary_tensor = torch.floor(random_tensor) 
    # 因為越往后越容易被drop，所以沒有被drop的值就要通過除keep_prob來放大
    output = inputs / keep_prob * binary_tensor
    return output

在Pytorch建立的Module類中，具有forward函數(shù)

可以在forward函數(shù)中進(jìn)行drop：

def forward(self, x):
 x=...
 if stride == 1 and in_planes == out_planes:
        if drop_connect_rate:
            x = drop_connect(x, p=drop_connect_rate, training=self.training)
        x = x + inputs  # skip connection
    return x

主函數(shù)：

for idx, block in enumerate(self._blocks):
    drop_connect_rate = self._global_params.drop_connect_rate
    if drop_connect_rate:
        drop_connect_rate *= float(idx) / len(self._blocks)
    x = block(x, drop_connect_rate=drop_connect_rate)

補(bǔ)充：pytorch中的L2正則化實現(xiàn)方法

搭建神經(jīng)網(wǎng)絡(luò)時需要使用L2正則化等操作來防止過擬合，而pytorch不像TensorFlow能在任意卷積函數(shù)中添加L2正則化的超參，那怎么在pytorch中實現(xiàn)L2正則化呢？

方法如下：超級簡單！

optimizer = torch.optim.Adam(net.parameters(), lr=0.001, weight_decay=5.0)

torch.optim.Adam()參數(shù)中的 weight_decay=5.0 即為L2正則化（只是pytorch換了名字），其數(shù)值即為L2正則化的懲罰系數(shù)，一般設(shè)置為1、5、10（根據(jù)需要設(shè)置，默認(rèn)為0，不使用L2正則化）。

注：

pytorch中的優(yōu)化函數(shù)L2正則化默認(rèn)對所有網(wǎng)絡(luò)參數(shù)進(jìn)行懲罰，且只能實現(xiàn)L2正則化，如需只懲罰指定網(wǎng)絡(luò)層參數(shù)或采用L1正則化，只能自己定義。。。

以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。

相關(guān)文章

最新評論

临安市| 康定县| 靖边县| 繁峙县| 玉屏| 丰都县| 辉县市| 秭归县| 吉安市| 阿克苏市| 永和县| 大埔县| 泸定县| 平舆县| 平江县| 鲁山县| 永仁县| 疏勒县| 鄄城县| 宁远县| 新竹县| 海门市| 松桃| 龙游县| 武乡县| 万山特区| 宁陵县| 奇台县| 抚远县| 宜州市| 房产| 宝清县| 秭归县| 保康县| 绵阳市| 曲阳县| 吉林市| 铜鼓县| 沅江市| 乡宁县| 轮台县|