反向傳播BP學(xué)習(xí)算法Gradient?Descent的推導(dǎo)過程
BP算法是適用于多層神經(jīng)網(wǎng)絡(luò)的一種算法，它是建立在梯度下降法的基礎(chǔ)上的。本文著重推導(dǎo)怎樣利用梯度下降法來minimise Loss Function。
給出多層神經(jīng)網(wǎng)絡(luò)的示意圖：
1.定義Loss Function
每一個輸出都對應(yīng)一個損失函數(shù)L，將所有L加起來就是total loss。
那么每一個L該如何定義呢？這里還是采用了交叉熵，如下所示：
最終Total Loss的表達(dá)式如下：
2.Gradient Descent
L對應(yīng)了一個參數(shù)，即Network parameters θ(w1,w2…b1,b2…)，那么Gradient Descent就是求出參數(shù) θ∗來minimise Loss Function，即：
梯度下降的具體步驟為：
3.求偏微分
從上圖可以看出，這里難點(diǎn)主要是求偏微分，由于L是所有損失之和，因此我們只需要對其中一個損失求偏微分，最后再求和即可。
先抽取一個簡單的神經(jīng)元來解釋：
因?yàn)槲覀儾⒉恢篮竺娴降子卸嗌賹?，也不知道情況到底有多復(fù)雜，我們不妨先取一種最簡單的情況，如下所示：
4.反向傳播
l對兩個z的偏導(dǎo)我們假設(shè)是已知的，并且在這里是作為輸入，三角形結(jié)構(gòu)可以理解為一個乘法運(yùn)算電路，其放大系數(shù)為 σ′(z)。但是在實(shí)際情況中，l對兩個z的偏導(dǎo)是未知的。假設(shè)神經(jīng)網(wǎng)絡(luò)最終的結(jié)構(gòu)就是如上圖所示，那么我們的問題已經(jīng)解決了：
其中：
但是假如該神經(jīng)元不是最后一層，我們又該如何呢？比如又多了一層，如下所示：
原理跟上面類似，如下所示：
那假設(shè)我們再加一層呢？再加兩層呢？再加三層呢？。。。，情況還是一樣的，還是先求l對最后一層z的導(dǎo)數(shù)，乘以權(quán)重相加后最后再乘上 σ′(z′′,z′′′,...)即可。
最后給一個實(shí)例：
它的反向傳播圖長這樣：
我們不難發(fā)現(xiàn)，這種計算方式很清楚明了地體現(xiàn)了“反向傳播”四個字。好了，目標(biāo)達(dá)成！！
5.總結(jié)
以上就是反向傳播BP學(xué)習(xí)算法-Gradient Descent的推導(dǎo)過程的詳細(xì)內(nèi)容，更多關(guān)于BP反向傳播Gradient Descent推導(dǎo)的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
有很多理由都能說明為什么我們應(yīng)該寫出清晰、可讀性好的程序。最重要的一點(diǎn)，程序你只寫一次，但以后會無數(shù)次的閱讀2011-10-10
這篇文章主要介紹了gitlab分支合并沖突的處理過程,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-01-01
Visual?Studio?Code?(VSCode)是一款功能強(qiáng)大的開源代碼編輯器,免費(fèi)開源,本文將分享一些常用的VSCode小技巧,幫助你提升開發(fā)效率和編程體驗(yàn),專注于業(yè)務(wù)邏輯的開發(fā),無論是文件導(dǎo)航、代碼編輯、調(diào)試還是終端操作,VSCode?都能提供非常豐富的功能,幫助你快速構(gòu)建高質(zhì)量的應(yīng)用2025-02-02
在微信小程序開發(fā)過程中需要在小程序里使用SVG矢量圖標(biāo),下面為大家分享2種在微信小程序中引入SVG矢量圖標(biāo)的方法2018-10-10
高性能WEB開發(fā) 為什么要減少請求數(shù)，如何減少請求數(shù)!
我們先分析下請求頭，看看每次請求都帶了那些額外的數(shù)據(jù).下面是監(jiān)控的google的請求頭2010-05-05
這篇文章主要給大家介紹了關(guān)于VS?Code快速生成html(頭部)模板的相關(guān)資料,為了避免簡單的重復(fù)勞動,借助VSCODE 快速生成文件頭部,在項(xiàng)目搭建中體驗(yàn)非常舒適,需要的朋友可以參考下2023-11-11
GitLab使用外部提供的Redis緩存數(shù)據(jù)庫的方法詳解
這篇文章主要介紹了GitLab: 如何使用外部提供的Redis緩存數(shù)據(jù)庫,本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-09-09
不知有多少朋友遇到此類問題：在PS里處理好的圖，發(fā)到論論壇上以后發(fā)現(xiàn)圖片顏色大變，變得灰蒙蒙，失去了層次，色彩生硬，還有點(diǎn)發(fā)青2014-05-05
IDEA2019.3在Plugins中搜索不到translation的解決
這篇文章主要介紹了IDEA2019.3在Plugins中搜索不到translation的解決，文中通過圖文的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-06-06
這篇文章主要介紹了idea+git合并分支解決沖突及詳解步驟,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-07-07