tf.reverse_sequence()簡述

在看bidirectional_dynamic_rnn()的源碼的時候，看到了代碼中有調(diào)用 reverse_sequence()這一方法，于是又回去看了下這個函數(shù)的用法，發(fā)現(xiàn)還是有點意思的。根據(jù)名字就可以能看得出，這個方法主要是用來翻轉(zhuǎn)序列的，就像雙線LSTM中在反向傳播那里需要從下文往上文處理一樣，需要對序列做一個鏡像的翻轉(zhuǎn)處理。

先來看一下這個方法的定義：

reverse_sequence(
  input,
  seq_lengths,
  seq_axis=None,
  batch_axis=None,
  name=None,
  seq_dim=None,
  batch_dim=None)

其中input是輸入的需要翻轉(zhuǎn)的目標張量，seq_lengths是一個張量；

其元素是input中每一處需要翻轉(zhuǎn)時翻轉(zhuǎn)的長度，在雙向LSTM中這個值統(tǒng)一被設(shè)為輸入語句的長度，代表著整句話都需要被翻轉(zhuǎn)，而實際上張量中的元素值可以是不同的，下面的例子中就可以看出；

seq_axis和seq_dim的關(guān)系，在源碼中做了如下操作：

seq_axis = deprecation.deprecated_argument_lookup("seq_axis", seq_axis,
                          "seq_dim", seq_dim)

返回中return gen_array_ops.reverse_sequence(..., seq_dim=seq_axis,...)，同理，對于batch_axis和batch_dim也是相同的處理。意義上來說，按照官方給出的解釋，“此操作首先沿著維度batch_axis對input進行分割，并且對于每個切片 i，將前 seq_lengths 元素沿維度 seq_axis 反轉(zhuǎn)”。實際上通俗來理解，就是對于張量input中的第batch_axis維中的每一個子張量，在這個子張量的第seq_axis維上進行翻轉(zhuǎn)，翻轉(zhuǎn)的長度為 seq_lengths 張量中對應的數(shù)值。

舉個例子，如果 batch_axis=0，seq_axis=1，則代表我希望每一行為單位分開處理，對于每一行中的每一列進行翻轉(zhuǎn)。相反的，如果 batch_axis=1，seq_axis=0，則是以列為單位，對于每一列的張量，進行相應行的翻轉(zhuǎn)?；仡^去看雙向RNN的源碼，就可以理解當time_major這一屬性不同時，time_dim 和 batch_dim 這一對組合的取值為什么恰好是相反的了。

寫一個簡單的測試代碼：

a = tf.constant([[1,2,3], [4,5,6], [7,8,9]])
l = tf.constant([1,2,3],tf.int64) # 每一次翻轉(zhuǎn)長度分別為1,2,3.由于a是（3,3）維的，所以l中數(shù)值最大只能是3
x = tf.reverse_sequence(a,seq_lengths=l,seq_axis = 0,batch_axis= 1) # 以列為單位進行翻轉(zhuǎn)，翻轉(zhuǎn)的是每一行的元素
y = tf.reverse_sequence(a,seq_lengths=l,seq_axis = 1,batch_axis= 0) # 以行為單位進行翻轉(zhuǎn)，翻轉(zhuǎn)的是每一列的元素
with tf.Session() as sess:
  print(sess.run(x))
  print(sess.run(y))

結(jié)果如下：

# 每一列上的元素種類沒有發(fā)生變化，但是從每一行來看，行的順序分別翻轉(zhuǎn)了前1，前2，前3個元素
[[1 5 9]
 [4 2 6]
 [7 8 3]]
# 每一行上的元素種類沒有發(fā)生變化，但是從每一列來看，列的順序分別翻轉(zhuǎn)了前1，前2，前3個元素
[[1 2 3]
 [5 4 6]
 [9 8 7]]

以上這篇關(guān)于tf.reverse_sequence()簡述就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

最新評論