pytorch實(shí)現(xiàn)seq2seq時(shí)對(duì)loss進(jìn)行mask的方式
如何對(duì)loss進(jìn)行mask
pytorch官方教程中有一個(gè)Chatbot教程，就是利用seq2seq和注意力機(jī)制實(shí)現(xiàn)的，感覺(jué)和機(jī)器翻譯沒(méi)什么不同啊，如果對(duì)話(huà)中一句話(huà)有下一句，那么就把這一對(duì)句子加入模型進(jìn)行訓(xùn)練。其中在訓(xùn)練階段，損失函數(shù)通常需要進(jìn)行mask操作，因?yàn)橐粋€(gè)batch中句子的長(zhǎng)度通常是不一樣的，一個(gè)batch中不足長(zhǎng)度的位置需要進(jìn)行填充（pad）補(bǔ)0，最后生成句子計(jì)算loss時(shí)需要忽略那些原本是pad的位置的值，即只保留mask中值為1位置的值，忽略值為0位置的值，具體演示如下：
import torch
import torch.nn as nn
import torch.nn.functional as F
import itertools
DEVICE = torch.device("cuda" if torch.cuda.is_available() else "cpu")
PAD_token = 0
首先是pad函數(shù)和建立mask矩陣，矩陣的維度應(yīng)該和目標(biāo)一致。
def zeroPadding(l, fillvalue=PAD_token): # 輸入：[[1, 1, 1], [2, 2], [3]] # 返回：[(1, 2, 3), (1, 2, 0), (1, 0, 0)] 返回已經(jīng)是轉(zhuǎn)置后的 [L, B] return list(itertools.zip_longest(*l, fillvalue=fillvalue)) def binaryMatrix(l): # 將targets里非pad部分標(biāo)記為1，pad部分標(biāo)記為0 m = [] for i, seq in enumerate(l): m.append([]) for token in seq: if token == PAD_token: m[i].append(0) else: m[i].append(1) return m
假設(shè)現(xiàn)在輸入一個(gè)batch中有三個(gè)句子，我們按照長(zhǎng)度從大到小排好序，LSTM或是GRU的輸入和輸出我們需要利用pack_padded_sequence和pad_packed_sequence進(jìn)行打包和解包，感覺(jué)也是在進(jìn)行mask操作。
inputs = [[1, 2, 3], [4, 5], [6]] # 輸入句，一個(gè)batch，需要按照長(zhǎng)度從大到小排好序 inputs_lengths = [3, 2, 1] targets = [[1, 2], [1, 2, 3], [1]] # 目標(biāo)句，這里的長(zhǎng)度是不確定的，mask是針對(duì)targets的 inputs_batch = torch.LongTensor(zeroPadding(inputs)) inputs_lengths = torch.LongTensor(inputs_lengths) targets_batch = torch.LongTensor(zeroPadding(targets)) targets_mask = torch.ByteTensor(binaryMatrix(zeroPadding(targets))) # 注意這里是ByteTensor print(inputs_batch) print(targets_batch) print(targets_mask)
打印后結(jié)果如下，可見(jiàn)維度統(tǒng)一變成了[L, B]，并且mask和target長(zhǎng)得一樣。另外，seq2seq模型處理時(shí)for循環(huán)每次讀取一行，預(yù)測(cè)下一行的值（即[B, L]時(shí)的一列預(yù)測(cè)下一列）。
tensor([[ 1, 4, 6], [ 2, 5, 0], [ 3, 0, 0]]) tensor([[ 1, 1, 1], [ 2, 2, 0], [ 0, 3, 0]]) tensor([[ 1, 1, 1], [ 1, 1, 0], [ 0, 1, 0]], dtype=torch.uint8)
現(xiàn)在假設(shè)我們將inputs輸入模型后，模型讀入sos后預(yù)測(cè)的第一行為outputs1, 維度為[B, vocab_size]，即每個(gè)詞在詞匯表中的概率，模型輸出之前需要softmax。
outputs1 = torch.FloatTensor([[0.2, 0.1, 0.7], [0.3, 0.6, 0.1], [0.4, 0.5, 0.1]]) print(outputs1)
tensor([[ 0.2000, 0.1000, 0.7000], [ 0.3000, 0.6000, 0.1000], [ 0.4000, 0.5000, 0.1000]])
先看看兩個(gè)函數(shù)
torch.gather(input, dim, index, out=None)->Tensor
沿著某個(gè)軸，按照指定維度采集數(shù)據(jù)，對(duì)于3維數(shù)據(jù)，相當(dāng)于進(jìn)行如下操作：
out[i][j][k] = input[index[i][j][k]][j][k] # if dim == 0 out[i][j][k] = input[i][index[i][j][k]][k] # if dim == 1 out[i][j][k] = input[i][j][index[i][j][k]] # if dim == 2
比如在這里，在第1維，選第二個(gè)元素。
# 收集每行的第2個(gè)元素 temp = torch.gather(outputs1, 1, torch.LongTensor([[1], [1], [1]])) print(temp)
tensor([[ 0.1000], [ 0.6000], [ 0.5000]])
torch.masked_select(input, mask, out=None)->Tensor
根據(jù)mask(ByteTensor)選取對(duì)應(yīng)位置的值，返回一維張量。
例如在這里我們選取temp大于等于0.5的值。
mask = temp.ge(0.5) # 大于等于0.5 print(mask) print(torch.masked_select(temp, temp.ge(0.5)))
tensor([[ 0], [ 1], [ 1]], dtype=torch.uint8) tensor([ 0.6000, 0.5000])
然后我們就可以計(jì)算loss了，這里是負(fù)對(duì)數(shù)損失函數(shù)，之前模型的輸出要進(jìn)行softmax。
# 計(jì)算一個(gè)batch內(nèi)的平均負(fù)對(duì)數(shù)似然損失，即只考慮mask為1的元素 def maskNLLLoss(inp, target, mask): nTotal = mask.sum() # 收集目標(biāo)詞的概率，并取負(fù)對(duì)數(shù) crossEntropy = -torch.log(torch.gather(inp, 1, target.view(-1, 1))) # 只保留mask中值為1的部分，并求均值 loss = crossEntropy.masked_select(mask).mean() loss = loss.to(DEVICE) return loss, nTotal.item()
這里我們計(jì)算第一行的平均損失。
# 計(jì)算預(yù)測(cè)的第一行和targets的第一行的loss maskNLLLoss(outputs1, targets_batch[0], targets_mask[0]) (tensor(1.1689, device='cuda:0'), 3)
最后進(jìn)行最后把所有行的loss累加起來(lái)變?yōu)閠otal_loss.backward()進(jìn)行反向傳播就可以了。
以上這篇pytorch實(shí)現(xiàn)seq2seq時(shí)對(duì)loss進(jìn)行mask的方式就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
python熱力圖實(shí)現(xiàn)簡(jiǎn)單方法
在本篇內(nèi)容里小編給大家分享的是一篇關(guān)于python熱力圖實(shí)現(xiàn)簡(jiǎn)單方法，對(duì)此有興趣的朋友們可以學(xué)習(xí)下。2021-01-01
pytorch之torch.nn.Identity()的作用及解釋
這篇文章主要介紹了pytorch之torch.nn.Identity()的作用及解釋,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-08-08
檢測(cè)python爬蟲(chóng)時(shí)是否代理ip偽裝成功的方法
這篇文章主要介紹了檢測(cè)python爬蟲(chóng)時(shí)是否代理ip偽裝成功的方法以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。,需要的朋友可以參考下2019-07-07
基于python實(shí)現(xiàn)百度語(yǔ)音識(shí)別和圖靈對(duì)話(huà)
這篇文章主要介紹了基于python實(shí)現(xiàn)百度語(yǔ)音識(shí)別和圖靈對(duì)話(huà),文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-11-11
python中類(lèi)與對(duì)象之間的關(guān)系詳解
在本篇文章里小編給大家整理的是一篇關(guān)于python中類(lèi)與對(duì)象之間的關(guān)系詳解內(nèi)容，有興趣的朋友們可以學(xué)習(xí)下。2020-12-12
Python 創(chuàng)建新文件時(shí)避免覆蓋已有的同名文件的解決方法
今天小編就為大家分享一篇Python 創(chuàng)建新文件時(shí)避免覆蓋已有的同名文件的解決方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-11-11
python 線(xiàn)程的暫停, 恢復(fù), 退出詳解及實(shí)例
這篇文章主要介紹了python 線(xiàn)程的暫停, 恢復(fù), 退出詳解及實(shí)例的相關(guān)資料,需要的朋友可以參考下2016-12-12
python實(shí)現(xiàn)高斯判別分析算法的例子
今天小編就為大家分享一篇python實(shí)現(xiàn)高斯判別分析算法的例子，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-12-12
Python數(shù)據(jù)分析中Groupby用法之通過(guò)字典或Series進(jìn)行分組的實(shí)例
下面小編就為大家分享一篇Python數(shù)據(jù)分析中Groupby用法之通過(guò)字典或Series進(jìn)行分組的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2017-12-12
Python2與Python3的區(qū)別實(shí)例總結(jié)
這篇文章主要介紹了Python2與Python3的區(qū)別,結(jié)合實(shí)例形式總結(jié)分析了Python2與Python3打印輸出、編碼、數(shù)值運(yùn)算、異常處理等使用區(qū)別,需要的朋友可以參考下2019-04-04