TensorFlow的自動求導原理分析
更新時間：2021年05月26日 11:48:03 作者：qq_25094489
這篇文章主要介紹了TensorFlow的自動求導原理分析，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
原理：
TensorFlow使用的求導方法稱為自動微分（Automatic Differentiation），它既不是符號求導也不是數(shù)值求導，而類似于將兩者結(jié)合的產(chǎn)物。
最基本的原理就是鏈式法則，關(guān)鍵思想是在基本操作（op）的水平上應(yīng)用符號求導，并保持中間結(jié)果（grad）。
基本操作的符號求導定義在\tensorflow\python\ops\math_grad.py文件中，這個文件中的所有函數(shù)都用RegisterGradient裝飾器包裝了起來，這些函數(shù)都接受兩個參數(shù)op和grad，參數(shù)op是操作，第二個參數(shù)是grad是之前的梯度。
鏈式求導代碼：
舉個例子：
補充：聊聊Tensorflow自動求導機制
自動求導機制
在即時執(zhí)行模式下，Tensorflow引入tf.GradientTape()這個“求導記錄器”來實現(xiàn)自動求導。
計算函數(shù)y(x)=x^2在x = 3時的導數(shù)：
import tensorflow as tf
#定義變量
x = tf.Variable(initial_value = 3.)
#在tf.GradientTape()的上下文內(nèi)，所有計算步驟都會被記錄以用于求導
with tf.GradientTape() as tape:
#y = x^2
y = tf.square(x)
#計算y關(guān)于x的導數(shù)(斜率，梯度)
y_grad = tape.gradient(y,x)
print([y,y_grad])
輸出：
[<tf.Tensor: shape=(), dtype=float32, numpy=9.0>, <tf.Tensor: shape=(), dtype=float32, numpy=6.0>]
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
今天小編就為大家分享一篇Python 腳本獲取ES 存儲容量的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12
使用Python的Django和layim實現(xiàn)即時通訊的方法
這篇文章主要介紹了使用Python的Django和layim實現(xiàn)即時通訊的方法，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-05-05
這篇文章主要為大家詳細介紹了如何使用Python編寫一個系統(tǒng)信息采集工具,好為重裝系統(tǒng)做準備,感興趣的小伙伴可以跟隨小編一起學習一下2024-12-12
這篇文章主要為大家詳細介紹了python主線程捕獲子線程的方法，具有一定的參考價值，感興趣的朋友可以參考一下2018-06-06
python re模塊findall()函數(shù)實例解析
這篇文章主要介紹了python re模塊findall()函數(shù)實例解析，具有一定借鑒價值,需要的朋友可以參考下2018-01-01
這篇文章主要介紹了Python編程實現(xiàn)蟻群算法詳解，涉及螞蟻算法的簡介，主要原理及公式，以及Python中的實現(xiàn)代碼，具有一定參考價值，需要的朋友可以了解下2021-10-10
本文主要介紹了Python手寫回歸樹的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2022-06-06
通過實例解析python subprocess模塊原理及用法
這篇文章主要介紹了通過實例解析python subprocess模塊原理及用法,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-10-10
這篇文章主要介紹了OpenCV+python實現(xiàn)實時目標檢測功能，本文通過實例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-06-06
這篇文章主要介紹了Python檢測一個對象是否為字符串類的方法,即檢測是一個對象是否是字符串對象,本文還講解了一個有趣的判斷方法,需要的朋友可以參考下2015-05-05