實(shí)驗(yàn)環(huán)境：tensorflow版本1.2.0，python2.7

介紹

關(guān)于空洞卷積的理論可以查看以下鏈接，這里我們不詳細(xì)講理論：

1.Long J, Shelhamer E, Darrell T, et al. Fully convolutional networks for semantic segmentation[C]. Computer Vision and Pattern Recognition, 2015.

2.Yu, Fisher, and Vladlen Koltun. “Multi-scale context aggregation by dilated convolutions.” arXiv preprint arXiv:1511.07122 (2015).

3.如何理解空洞卷積（dilated convolution）？

其實(shí)用一句話概括就是，在不用pooling的情況下擴(kuò)大感受野（pooling層會(huì)導(dǎo)致信息損失）

為了閱讀方便再貼一些相關(guān)鏈接：

【TensorFlow】tf.nn.conv2d是怎樣實(shí)現(xiàn)卷積的？

【TensorFlow】tf.nn.conv2d_transpose是怎樣實(shí)現(xiàn)反卷積的？

慣例先展示函數(shù)：

tf.nn.atrous_conv2d(value,filters,rate,padding,name=None）

除去name參數(shù)用以指定該操作的name，與方法有關(guān)的一共四個(gè)參數(shù)：

value：
指需要做卷積的輸入圖像，要求是一個(gè)4維Tensor，具有[batch, height, width, channels]這樣的shape，具體含義是[訓(xùn)練時(shí)一個(gè)batch的圖片數(shù)量, 圖片高度, 圖片寬度, 圖像通道數(shù)]

filters：
相當(dāng)于CNN中的卷積核，要求是一個(gè)4維Tensor，具有[filter_height, filter_width, channels, out_channels]這樣的shape，具體含義是[卷積核的高度，卷積核的寬度，圖像通道數(shù)，卷積核個(gè)數(shù)]，同理這里第三維channels，就是參數(shù)value的第四維

rate：
要求是一個(gè)int型的正數(shù)，正常的卷積操作應(yīng)該會(huì)有stride（即卷積核的滑動(dòng)步長(zhǎng)），但是空洞卷積是沒有stride參數(shù)的，這一點(diǎn)尤其要注意。取而代之，它使用了新的rate參數(shù)，那么rate參數(shù)有什么用呢？它定義為我們?cè)谳斎雸D像上卷積時(shí)的采樣間隔，你可以理解為卷積核當(dāng)中穿插了（rate-1）數(shù)量的“0”，把原來(lái)的卷積核插出了很多“洞洞”，這樣做卷積時(shí)就相當(dāng)于對(duì)原圖像的采樣間隔變大了。具體怎么插得，可以看后面更加詳細(xì)的描述。此時(shí)我們很容易得出rate=1時(shí)，就沒有0插入，此時(shí)這個(gè)函數(shù)就變成了普通卷積。

padding：
string類型的量，只能是”SAME”,”VALID”其中之一，這個(gè)值決定了不同邊緣填充方式。

ok，完了，到這就沒有參數(shù)了，或許有的小伙伴會(huì)問那“stride”參數(shù)呢。其實(shí)這個(gè)函數(shù)已經(jīng)默認(rèn)了stride=1，也就是滑動(dòng)步長(zhǎng)無(wú)法改變，固定為1。

結(jié)果返回一個(gè)Tensor，填充方式為“VALID”時(shí)，返回[batch,height-2*(filter_width-1),width-2*(filter_height-1),out_channels]的Tensor，填充方式為“SAME”時(shí)，返回[batch, height, width, out_channels]的Tensor，這個(gè)結(jié)果怎么得出來(lái)的？先不急，我們通過一段程序形象的演示一下空洞卷積。

實(shí)驗(yàn)

首先創(chuàng)建一張2通道圖

img = tf.constant(value=[[[[1],[2],[3],[4]],[[1],[2],[3],[4]],[[1],[2],[3],[4]],[[1],[2],[3],[4]]]],dtype=tf.float32)
img = tf.concat(values=[img,img],axis=3)

然后用一個(gè)3*3卷積核去做卷積

filter = tf.constant(value=1, shape=[3,3,2,5], dtype=tf.float32)
out_img = tf.nn.atrous_conv2d(value=img, filters=filter, rate=1)

建立好了img和filter，就可以做卷積了

out_img = tf.nn.conv2d(input=img, filter=filter, strides=[1,1,1,1], padding='VALID')

輸出5個(gè)channel，我們?cè)O(shè)置rate=1，此時(shí)空洞卷積可以看做普通的卷積，分別在SAME和VALID模式下輸出如下：

ok，調(diào)整rate=2，繼續(xù)運(yùn)行程序

out_img = tf.nn.atrous_conv2d(value=img, filters=filter, rate=2, padding='SAME')

查看輸出結(jié)果

[[[[ 16. 16. 16. 16. 16.]
[ 24. 24. 24. 24. 24.]
[ 16. 16. 16. 16. 16.]
[ 24. 24. 24. 24. 24.]]

[[ 16. 16. 16. 16. 16.]
[ 24. 24. 24. 24. 24.]
[ 16. 16. 16. 16. 16.]
[ 24. 24. 24. 24. 24.]]

[[ 16. 16. 16. 16. 16.]
[ 24. 24. 24. 24. 24.]
[ 16. 16. 16. 16. 16.]
[ 24. 24. 24. 24. 24.]]

[[ 16. 16. 16. 16. 16.]
[ 24. 24. 24. 24. 24.]
[ 16. 16. 16. 16. 16.]
[ 24. 24. 24. 24. 24.]]]]

這個(gè)結(jié)果怎么出來(lái)的呢？再用一張圖

這里我們看到rate=2時(shí)，通過穿插“0”，卷積核由3*3膨脹到了5*5。再看看“VALID”模式下，會(huì)發(fā)生什么？

直接報(bào)錯(cuò)了。因?yàn)榫矸e核的大小已經(jīng)超過了原圖大小

好了，看到這里相信大家對(duì)于空洞卷積有了基本的了解了。那么，填充方式為“VALID”時(shí)，返回[batch,height-2*(filter_width-1),width-2*(filter_height-1),out_channels]的Tensor，這個(gè)結(jié)果，相信大家就可以證明了。

代碼清單

import tensorflow as tf


img = tf.constant(value=[[[[1],[2],[3],[4]],[[1],[2],[3],[4]],[[1],[2],[3],[4]],[[1],[2],[3],[4]]]],dtype=tf.float32)
img = tf.concat(values=[img,img],axis=3)
filter = tf.constant(value=1, shape=[3,3,2,5], dtype=tf.float32)
out_img1 = tf.nn.atrous_conv2d(value=img, filters=filter, rate=1, padding='SAME')
out_img2 = tf.nn.atrous_conv2d(value=img, filters=filter, rate=1, padding='VALID')
out_img3 = tf.nn.atrous_conv2d(value=img, filters=filter, rate=2, padding='SAME')

#error
#out_img4 = tf.nn.atrous_conv2d(value=img, filters=filter, rate=2, padding='VALID')

with tf.Session() as sess:
  print 'rate=1, SAME mode result:'
  print(sess.run(out_img1))

  print 'rate=1, VALID mode result:'
  print(sess.run(out_img2))

  print 'rate=2, SAME mode result:'
  print(sess.run(out_img3))

  # error
  #print 'rate=2, VALID mode result:'
  #print(sess.run(out_img4))

到此這篇關(guān)于Tensorflow tf.nn.atrous_conv2d如何實(shí)現(xiàn)空洞卷積的的文章就介紹到這了,更多相關(guān)Tensorflow tf.nn.atrous_conv2d空洞卷積內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論