快捷導(dǎo)航

Python深度學(xué)習(xí)pytorch神經(jīng)網(wǎng)絡(luò)匯聚層理解

更新時間：2021年10月11日 11:59:26 作者：Supre_yuan

通常當(dāng)我們處理圖像時，我們希望逐漸降低隱藏表示的空間分辨率，聚集信息，這樣隨著我們在神經(jīng)網(wǎng)絡(luò)層疊的上升，每個神經(jīng)元對其敏感的感受野（輸入）就越大

我們的機器學(xué)習(xí)任務(wù)通常會跟全局圖像的問題有關(guān)（例如，“圖像是否包含一只貓呢？”），所以我們最后一層的神經(jīng)元應(yīng)該對整個輸入的全局敏感。通過逐漸聚合信息，生成越來越粗糙的映射，最終實現(xiàn)學(xué)習(xí)全局表示的目標(biāo)，同時將卷積圖層的所有有時保留在中間層。

此外，當(dāng)檢測較底層的特征時（例如之前討論的邊緣），我們通常希望這些特征保持某種程度上的平移不變性。例如，如果我們拍攝黑白之間輪廓清晰的圖像X，并將整個圖像向右移動一個像素，即Z[i, j] = X[i, j+1]，則新圖像Z的輸出可能大不相同。而在現(xiàn)實中，隨著拍攝角度的移動，任何物體幾乎不可能發(fā)生在同一像素上。即使用三腳架拍攝一個靜止的物體，由于快門的移動而引起的相機振動，可能會使所有物體左右移動一個像素（除了高端相機配備了特殊功能來解決這個問題）。

本節(jié)將介紹池化（pooling）層，它具有雙重目的：降低卷積層對位置的敏感性，同時降低對空間降采樣表示的敏感性。

最大匯聚層和平均匯聚層

與卷積層類似，匯聚層運算符由一個固定形狀的窗口組成，該窗口根據(jù)其步幅大小在輸入的所有區(qū)域上滑動，為固定形狀窗口（有時稱為池化窗口）遍歷的每個位置計算一個輸出。然而，不同域卷積層的輸入與卷積核之間的互相關(guān)計算，匯聚層不包含參數(shù)。相反，池運算符是確定性的，我們通常計算池化窗口中所有元素的最大值或平均值。這些操作分別稱為最大匯聚層（maximum pooling）和平均匯聚層（average pooling）。

在這兩種情況下，與互相關(guān)運算符一樣，池化窗口從輸入張量的左上角開始，從左到右、從上到下的在輸入張量內(nèi)移動。

在這里插入圖片描述