快捷導(dǎo)航

如何從PyTorch中獲取過(guò)程特征圖實(shí)例詳解

更新時(shí)間：2023年01月10日 11:43:28 作者：ViperL1

特征提取是圖像處理過(guò)程中常需要用到的一種方法,其效果好壞對(duì)模型的泛化能力有至關(guān)重要的影響,下面這篇文章主要給大家介紹了關(guān)于如何從PyTorch中獲取過(guò)程特征圖的相關(guān)資料,需要的朋友可以參考下

一、獲取Tensor

神經(jīng)網(wǎng)絡(luò)在運(yùn)算過(guò)程中實(shí)際上是以Tensor為格式進(jìn)行計(jì)算的，我們只需稍稍改動(dòng)一下forward函數(shù)即可從運(yùn)算過(guò)程中抓到Tensor

代碼如下：

base_feature = self.extractor.forward(x)    #正常的前向傳遞
feature=base_feature.detach()               #抓取tensor
feature_imshow(feature)                     #展示函數(shù)（關(guān)鍵代碼）

通過(guò)將過(guò)程張量賦值給一個(gè)臨時(shí)變量，即可將其從前向傳遞中分離出來(lái)且不影響原來(lái)的前向傳遞函數(shù)，這種方法遠(yuǎn)比復(fù)雜的hook函數(shù)更實(shí)用。

將Tensor數(shù)據(jù)取到后到可視化還需要進(jìn)行以下幾步：

①類(lèi)型轉(zhuǎn)換

如果網(wǎng)絡(luò)是在cuda中進(jìn)行運(yùn)算，則需要將提取到的tensor轉(zhuǎn)換為cpu類(lèi)型才能進(jìn)行接下來(lái)的運(yùn)算

inp = inp.cpu()        #類(lèi)型轉(zhuǎn)換

②張量拆解

網(wǎng)絡(luò)中的張量一般是高維度的，需要對(duì)其進(jìn)行降維，一般降至兩維即可進(jìn)行顯示。這里以Faster R-CNN中的resnet50特征提取網(wǎng)絡(luò)為例：輸出其特征圖尺寸為：[1,1024,68,38]，可以很明顯的看出，第一維實(shí)際上是batch_size，在圖像顯示中不需要，可以直接去除；第二維1024則是網(wǎng)絡(luò)提取到的特征圖張數(shù)，故可以對(duì)第二維進(jìn)行遍歷；而第3,4維是特征圖的尺寸，直接顯示即可。

inp=inp.squeeze(0)    #除去第一維
 
for i in range(len(inp)):
    plt.imshow(transforms.ToPILImage()(inp[i]))    #遍歷第二維并將其轉(zhuǎn)換為圖像

③圖像展示

選取你需要的特征圖像，進(jìn)行保存或使用plt進(jìn)展示

完整的展示函數(shù)如下：

def feature_imshow(inp, title=None):
    inp = inp.cpu()
    inp=inp.squeeze(0)
    print(inp.shape)
    plt.figure(figsize=(12, 7))
    for i in range(len(inp)):
        plt.subplot(4, 5, i+1)    #第一二個(gè)參數(shù)為圖像個(gè)數(shù)，第三參數(shù)為圖像位置
        plt.imshow(transforms.ToPILImage()(inp[i]))
        i+=1
    plt.show()
    plt.pause(0.001)