Python機器學習從ResNet到DenseNet示例詳解
從ResNet到DenseNet
上圖中，左邊是ResNet，右邊是DenseNet，它們在跨層上的主要區(qū)別是：使用相加和使用連結(jié)。
最后，將這些展開式結(jié)合到多層感知機中，再次減少特征的數(shù)量。實現(xiàn)起來非常簡單：我們不需要添加術(shù)語，而是將它們連接起來。DenseNet這個名字由變量之間的“稠密連接”而得來，最后一層與之前的所有層緊密相連。稠密連接如下圖所示：
稠密網(wǎng)絡(luò)主要由2部分構(gòu)成：稠密塊（dense block）和過渡層（trainsition block）。
前者定義如何連接輸入和輸出，而后者則控制通道數(shù)量，使其不會太復(fù)雜。
稠密塊體
DenseNet使用了ResNet改良版的“批量歸一化、激活和卷積”結(jié)構(gòu)。我們首先實現(xiàn)下這個結(jié)構(gòu)。
import torch from torch import nn from d2l import torch as d2l def conv_block(input_channels, num_channels): return nn.Sequential( nn.BatchNorm2d(input_channels), nn.ReLU(), nn.Conv2d(input_channels, num_channels, kernel_size=3, padding=1) )
一個稠密塊由多個卷積塊組成，每個卷積塊使用相同矢量的輸出通道。然而，在前向傳播中，我們將每個卷積塊的輸入和輸出在通道維上連結(jié)。
class DenseBlock(nn.Module): def __init__(self, num_convs, input_channels, num_channels): super(Denseblock, self).__init__() layer = [] for i in range(num_convs): layer.append(conv_block(num_channels * i + input_channels, num_channels)) self.net = nn.Sequential(*layer) def forward(self, X): for blk in self.net: Y = blk(X) # 連結(jié)通道維度上的每個塊的輸入和輸出 X = torch.cat((X, Y), dim=1) return X
在下面的例子中，我們定義一個有2個輸出通道數(shù)為10的DenseBlock。使用通道數(shù)為3的輸入時，我們會得到通道數(shù)為 3 + 2 × 10 = 23 3+2\times10=23 3+2×10=23的輸出。卷積塊的通道數(shù)控制了輸出通道數(shù)相對于輸入通道數(shù)的增長，因此也被稱為增長率（growth rate）。
blk = DenseBlock(2, 3, 10) X = torch.randn(4, 3, 8, 8) Y = blk(X) Y.shape
torch.Size([4, 23, 8, 8])
過渡層
由于每個稠密快都會帶來通道數(shù)的增加，使用過多則會過于復(fù)雜化模型。而過渡層可以用來控制模型復(fù)雜度。它通過 1×1卷積層來減小通道數(shù)，并使用步幅為2的平均匯聚層減半高和寬，從而進一步降低模型復(fù)雜度。
def transition_block(input_channels, num_channels): return nn.Sequential( nn.BatchNorm2d(input_channels), nn.ReLU(), nn.Conv2d(input_channels, num_channels, kernel_size=1) nn.AvgPool2d(kernel_size=2, stride=2) )
對上一個例子中稠密塊的輸出使用通道數(shù)為10的過渡層。此時輸出的通道數(shù)減為10，高和寬均減半。
blk = transition_block(23, 10) blk(Y).shape
torch.Size([4, 10, 4, 4])
DenseNet模型
我們來構(gòu)造DenseNet模型。DenseNet首先使用同ResNet一樣的單卷積層和最大聚集層。
b1 = nn.Sequential( nn.Conv2d(1, 64, kernel_size=7, stride=2, padding=3), nn.BatchNorm2d(64), nn.ReLU(), nn.MaxPool2d(kernel_size=3, stride=2, padding=1) )
接下來，類似于ResNet使用的4個殘差塊，DenseNet使用的是4個稠密塊。與ResNet類似，我們可以設(shè)置每個稠密塊使用多少個卷積層。這里我們設(shè)成4，從而與之前的ResNet-18保持一致。稠密塊里的卷積層通道數(shù)（即增長率）設(shè)置為32，所以每個稠密塊將增加128個通道。
在每個模塊之間，ResNet通過步幅為2的殘差塊減小高和寬，而DenseNet則使用過渡層來減半高和寬，并減半通道數(shù)。
# 'num_channels'為當前通道數(shù) num_channels, growth_rate = 64, 32 num_convs_in_dense_blocks = [4, 4, 4, 4] blks = [] for i, num_convs in enumerate(num_convs_in_dense_blocks): blks.append(DenseBlock(num_convs, num_channels, growth_rate)) # 上一個稠密塊的輸出通道數(shù) num_channels += num_convs * growth_rate # 在稠密塊之間添加一個轉(zhuǎn)換層，使通道數(shù)量減半 if i != len(num_convs_in_dense_blocks) - 1: blks.append(transition_block(num_channels, num_channels // 2)) num_channels = num_channels // 2
與ResNet類似，最后接上全局匯聚層和全連接層來輸出結(jié)果。
net = nn.Sequential( b1, *blks, nn.BatchNorm2d(num_channels), nn.ReLU(), nn.AdaptiveMaxPool2d((1, 1)), nn.Flatten(), nn.Linear(num_channels, 10) )
訓練模型
由于這里使用了比較深的網(wǎng)絡(luò)，本節(jié)里我們將輸入高和寬從224降到96來簡化計算。
lr, num_epochs, batch_size = 0.1, 10, 256 train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size, resize=96) d2l.train_ch6(net, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())
loss 0.154, train acc 0.943, test acc 0.880 5506.9 examples/sec on cuda:0
以上就是Python機器學習從ResNet到DenseNet示例詳解的詳細內(nèi)容，更多關(guān)于Python機器學習ResNet到DenseNet的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
這篇文章主要給大家介紹了關(guān)于如何基于pytorch實現(xiàn)運動鞋品牌識別功能,文中通過圖文以及實例代碼介紹的非常詳細,對大家學習或者使用PyTorch具有一定的參考學習價值,需要的朋友可以參考下2024-02-02
anaconda虛擬環(huán)境python?sklearn庫的安裝過程
Anaconda是專注于數(shù)據(jù)分析的Python發(fā)行版本,包含了conda、Python等190多個科學包及其依賴項,這篇文章主要給大家介紹了關(guān)于anaconda虛擬環(huán)境python?sklearn庫的安裝過程,需要的朋友可以參考下2023-11-11
今天小編就為大家分享一篇pytorch 實現(xiàn)打印模型的參數(shù)值，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12
這篇文章主要為大家介紹了Python?sklearn庫三種常用編碼格式實例展示，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-09-09
本篇內(nèi)容主要是講python在電腦上編輯和運行的幾種不同方式,后面主要是在pycharm中去寫代碼,然后運行,其實還有其他的方式可以在電腦上寫python代碼和運行python代碼,需要的朋友可以參考下2024-08-08
python基于socket模擬實現(xiàn)ssh遠程執(zhí)行命令
這篇文章主要介紹了python基于socket模擬實現(xiàn)ssh遠程執(zhí)行命令，幫助大家更好的理解和學習python，感興趣的朋友可以了解下2020-12-12
這篇文章主要介紹了利用Python的Django框架中的ORM建立查詢API,對Managers和QuerySets進行了著重介紹,需要的朋友可以參考下2015-04-04
Python中有join()和os.path.join()兩個函數(shù)，join是將字符串、元組、列表中的元素以指定的字符(分隔符)連接生成一個新的字符串而os.path.join()：?將多個路徑組合后返回，本文給大家介紹的非常詳細，需要的朋友一起看看吧2022-04-04
一文帶你精通Python中*args和**kwargs的應(yīng)用技巧
如果能在Python中創(chuàng)建適應(yīng)不同場景的函數(shù),而無需每次都重寫它們,會使得操作簡潔方便,這就是*args和**kwargs的魔力所在,下面我們就來看看它們的具體一些應(yīng)用技巧吧2024-03-03
這篇文章主要介紹了Mac下PyCharm快捷鍵，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-04-04