Tensorflow的梯度異步更新示例
更新時間：2020年01月23日 18:11:22 作者：supe_king
今天小編就為大家分享一篇Tensorflow的梯度異步更新示例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
背景：
先說一下應(yīng)用吧，一般我們進行網(wǎng)絡(luò)訓(xùn)練時，都有一個batchsize設(shè)置，也就是一個batch一個batch的更新梯度，能有這個batch的前提是這個batch中所有的圖片的大小一致，這樣才能組成一個placeholder。那么若一個網(wǎng)絡(luò)對圖片的輸入沒有要求，任意尺寸的都可以，但是我們又想一個batch一個batch的更新梯度怎么辦呢？
操作如下：
先計算梯度：
# 模型部分
Optimizer = tf.train.GradientDescentOptimizer(1)
gradient = Optimizer.compute_gradients(loss) # 每次計算所有變量的梯度
grads_holder = [(tf.placeholder(tf.float32, shape=g.get_shape()), v) for (g, v) in gradient]# 將每次計算的梯度保存
optm = Optimizer.apply_gradients(grads_holder) # 進行梯度更新
# 初始化部分
sess = tf.Session()
init = tf.global_variables_initializer()
sess.run(init)
# 實際訓(xùn)練部分
grads = [] # 定義一個空的列表用于存儲每次計算的梯度
for i in range(batchsize): # batchsize設(shè)置在這里
x_i = ... # 輸入
y_real = ... # 標(biāo)簽
grad_i = sess.run(gradient, feed_dict={inputs: x_i, outputs: y_real}) #梯度計算
grads.append(grad_i) # 梯度存儲
# 定義一個空的字典用于存儲，batchsize中所有梯度的和
grads_sum = {}
# 將網(wǎng)絡(luò)中每個需要更新梯度的變量都遍歷一遍
for i in range(len(grads_holder)):
k = grads_holder[i][0] # 得到該變量名
# 將該變量名下的所有梯度求和，這里也可以求平均，求平均只需要除以batchsize
grads_sum[k] = sum([g[i][0] for g in grads])
# 完成梯度更新
sess.run(optm,feed_dict=grads_sum)
以上這篇Tensorflow的梯度異步更新示例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
在 Python 應(yīng)用中使用 MongoDB的方法
這篇文章主要介紹了在 Python 應(yīng)用中使用 MongoDB的方法,需要的朋友可以參考下2017-01-01
本文主要介紹了使用Python進行數(shù)據(jù)可視化，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03
如何解決Python讀取圖片路徑存在轉(zhuǎn)義字符的問題
這篇文章主要為大家詳細(xì)介紹了如何解決Python讀取圖片路徑時存在轉(zhuǎn)義字符的問題，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以學(xué)習(xí)一下2023-07-07
python實現(xiàn)定時任務(wù)的八種方式總結(jié)
在日常工作中,我們常常會用到需要周期性執(zhí)行的任務(wù),下面這篇文章主要給大家介紹了關(guān)于python實現(xiàn)定時任務(wù)的八種方式,文中通過實例代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-01-01
如果分析的數(shù)據(jù)與地域相關(guān)，那么，把分析結(jié)果結(jié)合地圖一起展示的話，會讓可視化的效果得到極大的提升，下面就來講講如何利用Matplotlib一步步通過地圖來展示分析結(jié)果吧2023-08-08
使用Scrapy框架爬取網(wǎng)頁并保存到Mysql的實現(xiàn)
本文主要介紹了使用Scrapy框架爬取網(wǎng)頁并保存到Mysql的實現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-07-07
django 刪除數(shù)據(jù)庫表后重新同步的方法
今天小編就為大家分享一篇django 刪除數(shù)據(jù)庫表后重新同步的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05
這篇文章主要介紹了Python爬取梨視頻的示例，幫助大家更好的利用python進行爬蟲的學(xué)習(xí)與使用，感興趣的朋友可以了解下2021-01-01
在本篇文章里小編給大家分享的是關(guān)于Python中six模塊基礎(chǔ)用法以及相關(guān)知識點，需要的朋友們學(xué)習(xí)下。2019-12-12
Python計算開方、立方、圓周率,精確到小數(shù)點后任意位的方法
今天小編就為大家分享一篇Python計算開方、立方、圓周率,精確到小數(shù)點后任意位的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07