pytorch加載預(yù)訓(xùn)練模型與自己模型不匹配的解決方案
更新時(shí)間：2021年05月13日 16:33:18 作者：找不到服務(wù)器1703
這篇文章主要介紹了pytorch加載預(yù)訓(xùn)練模型與自己模型不匹配的解決方案，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
pytorch中如果自己搭建網(wǎng)絡(luò)并且加載別人的與訓(xùn)練模型的話，如果模型和參數(shù)不嚴(yán)格匹配，就可能會出問題，接下來記錄一下我的解決方法。
兩個(gè)有序字典找不同
模型的參數(shù)和pth文件的參數(shù)都是有序字典(OrderedDict)，把字典中的鍵轉(zhuǎn)為列表就可以在for循環(huán)里迭代找不同了。
model = ResNet18(1)
model_dict1 = torch.load('resnet18.pth')
model_dict2 = model.state_dict()
model_list1 = list(model_dict1.keys())
model_list2 = list(model_dict2.keys())
len1 = len(model_list1)
len2 = len(model_list2)
minlen = min(len1, len2)
for n in range(minlen):
if model_dict1[model_list1[n]].shape != model_dict2[model_list2[n]].shape:
err = 1
自己搭建模型的注意事項(xiàng)
搭網(wǎng)絡(luò)時(shí)要對照pth文件的字典順序搭，字典順序、權(quán)重尺寸(shape)和變量命名必須與pth文件完全一致。如果僅僅是變量命名不同，可采用類似的方法對模型的權(quán)重重新賦值。
model = ResNet18(1)
model_dict1 = torch.load('resnet18.pth')
model_dict2 = model.state_dict()
model_list1 = list(model_dict1.keys())
model_list2 = list(model_dict2.keys())
len1 = len(model_list1)
len2 = len(model_list2)
minlen = min(len1, len2)
for n in range(minlen):
if model_dict1[model_list1[n]].shape != model_dict2[model_list2[n]].shape:
continue
model_dict1[model_list1[n]] = model_dict2[model_list2[n]]
model.load_state_dict(model_dict2)
完整的代碼見自己搭建resnet18網(wǎng)絡(luò)并加載torchvision自帶權(quán)重
新增的改進(jìn)代碼
model_dict1 = torch.load('yolov5.pth')
model_dict2 = model.state_dict()
model_list1 = list(model_dict1.keys())
model_list2 = list(model_dict2.keys())
len1 = len(model_list1)
len2 = len(model_list2)
m, n = 0, 0
while True:
if m >= len1 or n >= len2:
break
layername1, layername2 = model_list1[m], model_list2[n]
w1, w2 = model_dict1[layername1], model_dict2[layername2]
if w1.shape != w2.shape:
continue
model_dict2[layername2] = model_dict1[layername1]
m += 1
n += 1
model.load_state_dict(model_dict2)
如果因?yàn)槟Ｐ筒黄ヅ洌\(yùn)行第14行語句后，可看自己情況手動對m或n加上1。
補(bǔ)充：pytorch的一些坑：用預(yù)訓(xùn)練的vgg模型的部分層的特征報(bào)錯(cuò)，如張量不匹配
看代碼吧~
#打算取VGG19的第二個(gè)全連接層的輸出，那么就需要構(gòu)建一個(gè)類，這個(gè)類要包含VGG的全部卷積層，
#以及到第二個(gè)全連接層的全部網(wǎng)絡(luò)還有他們對應(yīng)的參數(shù)
class Classification_att(nn.Module):
def __init__(self, rgb_range):
super(Classification_att, self).__init__()
self.vgg19 =models.vgg19(pretrained=True)
vgg = models.vgg19(pretrained=True).features
conv_modules = [m for m in vgg]
self.vgg_conv = nn.Sequential(*conv_modules[:37])
classfi = models.vgg19(pretrained=True).classifier
classif_modules = [n for n in classfi]
self.vgg_class = nn.Sequential(*classif_modules[:4])
vgg_mean = (0.485, 0.456, 0.406)
vgg_std = (0.229 * rgb_range, 0.224 * rgb_range, 0.225 * rgb_range)
self.sub_mean = common.MeanShift(rgb_range, vgg_mean, vgg_std)
for p in self.vgg_conv.parameters():
p.requires_grad = False
for p in self.vgg_class.parameters():
p.requires_grad = False
self.classifi = nn.Sequential(
nn.Linear(4096, 1024),
nn.ReLU(True),
nn.Linear(1024, 256),
nn.ReLU(True),
nn.Linear(256, 64),
)
def forward(self, x):
x = F.interpolate(x, size=[224, 224], scale_factor=None, mode='bilinear',
align_corners=False)
x = self.sub_mean(x)
x = self.vgg_conv(x)
x = self.vgg_class(x) #執(zhí)行這部報(bào)錯(cuò)，說張量不匹配
原因是因?yàn)榫矸e層的輸出不能直接連接全連接層，即使輸出的張量的總的大小是一致的
查看vgg的pytorch源碼發(fā)現(xiàn)是
x = self.features(x) x = self.avgpool(x) x = torch.flatten(x, 1) x = self.classifier(x) #自己的代碼沒有torch.flatten(x, 1)這步
所以自己的少了一步
x = torch.flatten(x, 1)
補(bǔ)上就好了！
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python基于opencv調(diào)用攝像頭獲取個(gè)人圖片的實(shí)現(xiàn)方法
今天小編就為大家分享一篇關(guān)于Python基于opencv調(diào)用攝像頭獲取個(gè)人圖片的實(shí)現(xiàn)方法，小編覺得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來看看吧2019-02-02
這篇文章主要介紹了python中刪除某個(gè)元素的方法解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-11-11
關(guān)于TensorFlow新舊版本函數(shù)接口變化詳解
今天小編就為大家分享一篇關(guān)于TensorFlow新舊版本函數(shù)接口變化詳解，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02
Python如何查看并打印matplotlib中所有的colormap(cmap)類型
這篇文章主要介紹了Python如何查看并打印matplotlib中所有的colormap(cmap)類型，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-11-11
這篇文章主要介紹了Python類中的魔法方法之 __slots__詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-08-08
Python實(shí)現(xiàn)日期判斷和加減操作詳解
這篇文章主要介紹了如何利用Python實(shí)現(xiàn)日期的判斷，以及對日期的加減操作，文中的示例代碼對我們學(xué)習(xí)或工作有一定的價(jià)值，需要的可以參考一下2022-01-01
pytorch 實(shí)現(xiàn)多個(gè)Dataloader同時(shí)訓(xùn)練
這篇文章主要介紹了pytorch 實(shí)現(xiàn)多個(gè)Dataloader同時(shí)訓(xùn)練的操作，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2021-05-05
詳解Python GUI編程之PyQt5入門到實(shí)戰(zhàn)
這篇文章主要介紹了詳解Python GUI編程之PyQt5入門到實(shí)戰(zhàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-12-12
python使用paramiko實(shí)現(xiàn)ssh的功能詳解
這篇文章主要介紹了python使用paramiko實(shí)現(xiàn)ssh的功能詳解，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-03-03
這篇文章主要介紹了Python yield的用法,結(jié)合實(shí)例形式分析了Python yield的基本功能、使用方法及操作注意事項(xiàng),需要的朋友可以參考下2020-03-03