LSMT層

可以在troch.nn模塊中找到LSTM類

lstm = torch.nn.LSTM(*paramsters)

1、__init__方法

首先對(duì)nn.LSTM類進(jìn)行實(shí)例化，需要傳入的參數(shù)如下圖所示：

一般我們關(guān)注這4個(gè)：

• input_size表示輸入的每個(gè)token的維度，也可以理解為一個(gè)word的embedding的維度。
• hidden_size表示隱藏層也就是記憶單元C的維度，也可以理解為要將一個(gè)word的embedding維度轉(zhuǎn)變成另一個(gè)大小的維度。除了C，在LSTM中輸出的H的維度與C的維度是一致的。
• num_layers表示有多少層LSTM，加深網(wǎng)絡(luò)的深度，這個(gè)參數(shù)對(duì)LSTM的輸出的維度是有影響的（后文會(huì)提到）。
• bidirectional表示是否需要雙向LSTM，這個(gè)參數(shù)也會(huì)對(duì)后面的輸出有影響。

2、forward方法的輸入

將數(shù)據(jù)input傳入forward方法進(jìn)行前向傳播時(shí)有3個(gè)參數(shù)可以輸入，見下圖：

• 這里要注意的是input參數(shù)各個(gè)維度的意義，一般來說如果不在實(shí)例化時(shí)制定batch_first=True,那么input的第一個(gè)維度是輸入句子的長(zhǎng)度seq_len，第二個(gè)維度是批量的大小，第三個(gè)維度是輸入句子的embedding維度也就是input_size，這個(gè)參數(shù)要與__init__方法中的第一個(gè)參數(shù)對(duì)應(yīng)。
• 另外記憶細(xì)胞中的兩個(gè)參數(shù)h_0和c_0可以選擇自己初始化傳入也可以不傳，系統(tǒng)默認(rèn)是都初始化為0。傳入的話注意維度[bidirectional * num_layers, batch_size, hidden_size]。

3、forward方法的輸出

forward方法的輸出如下圖所示：

一般采用如下形式：

out,(h_n, c_n) = lstm(x)

out表示在最后一層上，每一個(gè)時(shí)間步的輸出，也就是句子有多長(zhǎng)，這個(gè)out的輸出就有多長(zhǎng)；其維度為[seq_len, batch_size, hidden_size * bidirectional]。因?yàn)槿绻碾p向LSTM，最后一層的輸出會(huì)把正向的和反向的進(jìn)行拼接，故需要hidden_size * bidirectional。h_n表示的是每一層（雙向算兩層）在最后一個(gè)時(shí)間步上的輸出；其維度為[bidirectional * num_layers, batch_size, hidden_size]
假設(shè)是雙向的LSTM，且是3層LSTM，雙向每個(gè)方向算一層，兩個(gè)方向的組合起來叫一層LSTM，故共會(huì)有6層（3個(gè)正向，3個(gè)反向）。所以h_n是每層的輸出，bidirectional * num_layers = 6。c_n表示的是每一層（雙向算兩層）在最后一個(gè)時(shí)間步上的記憶單元，意義不同，但是其余均與 h_n一樣。

LSTMCell

可以在troch.nn模塊中找到LSTMCell類

lstm = torch.nn.LSTMCell(*paramsters)

它的__init__方法的參數(shù)設(shè)置與LSTM類似，但是沒有num_layers參數(shù)，因?yàn)檫@就是一個(gè)細(xì)胞單元，談不上多少層和是否雙向。
forward的輸入和輸出與LSTM均有所不同：

其相比LSTM，輸入沒有了時(shí)間步的概念，因?yàn)橹挥幸粋€(gè)Cell單元；輸出 也沒有out參數(shù)，因?yàn)榫鸵粋€(gè)Cell，out就是h_1，h_1和c_1也因?yàn)橹挥幸粋€(gè)Cell單元，其沒有層數(shù)上的意義，故只是一個(gè)Cell的輸出的維度[batch_size, hidden_size].

代碼演示如下：

rnn = nn.LSTMCell(10, 20) # (input_size, hidden_size)
input = torch.randn(2, 3, 10) # (time_steps, batch, input_size)
hx = torch.randn(3, 20) # (batch, hidden_size)
cx = torch.randn(3, 20)
output = []
# 從輸入的第一個(gè)維度也就是seq_len上遍歷，每循環(huán)一次，輸入一個(gè)單詞
for i in range(input.size()[0]):
		# 更新細(xì)胞記憶單元
        hx, cx = rnn(input[i], (hx, cx))
        # 將每個(gè)word作為輸入的輸出存起來，相當(dāng)于LSTM中的out
        output.append(hx)
output = torch.stack(output, dim=0)

到此這篇關(guān)于pytorch中使用LSTM詳細(xì)解說的文章就介紹到這了,更多相關(guān)pytorch使用LSTM內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論