快捷導(dǎo)航

python深度學(xué)習(xí)人工智能BackPropagation鏈?zhǔn)椒▌t

更新時間：2021年11月12日 09:39:43 作者：Swayzzu

這篇文章主要為大家介紹了python深度學(xué)習(xí)人工智能BackPropagation鏈?zhǔn)椒▌t的示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助

1.鏈?zhǔn)椒▌t

根據(jù)以前的知識，如果我們需要尋找到目標(biāo)參數(shù)的值的話，我們需要先給定一個初值，然后通過梯度下降，不斷對其更新，直到最終的損失值最小即可。而其中最關(guān)鍵的一環(huán)，就是梯度下降的時候，需要的梯度，也就是需要求最終的損失函數(shù)對參數(shù)的導(dǎo)數(shù)。

如下圖，假設(shè)有一個神經(jīng)元，是輸入層，有2個數(shù)據(jù)，參數(shù)分別是w1和w2，偏置項(xiàng)為b，那么我們需要把這些參數(shù)組合成一個函數(shù)z，然后將其輸入到sigmoid函數(shù)中，便可得到該神經(jīng)元的輸出結(jié)果。過程中，z對w求導(dǎo)十分好算，就是x1和x2。根據(jù)鏈?zhǔn)椒▌t，如下圖左下角所示，我們整體的計算過程就是，通過前向傳播求出z對w的偏導(dǎo)，再通過反向傳播找到損失函數(shù)C對z的偏導(dǎo)。

2.前向傳播

計算z對w的偏導(dǎo)：前向傳播相當(dāng)簡單，對參數(shù)的偏導(dǎo)結(jié)果就是參數(shù)對應(yīng)的輸入數(shù)據(jù)，如下圖所示。輸入數(shù)據(jù)對于輸入層來說就是原始數(shù)據(jù)1和-1，對于其他層，輸入數(shù)據(jù)就是通過sigmoid轉(zhuǎn)換后的輸出結(jié)果。

3.后向傳播

計算C對z的偏導(dǎo)：

設(shè)每一個神經(jīng)元中，sigmoid函數(shù)最終的輸出為a，則C對z的偏導(dǎo)，根據(jù)鏈?zhǔn)椒▌t，就可以寫作a對z的偏導(dǎo)，乘上C對a的偏導(dǎo)。

a對z的偏導(dǎo)，只是一個sigmoid函數(shù)，該函數(shù)偏導(dǎo)可以計算。

C對a的偏導(dǎo)，由于a輸入進(jìn)了下一層的多個神經(jīng)元，假設(shè)有2個，因此，C對a的偏導(dǎo)，等于分別對這兩個神經(jīng)元求偏導(dǎo)并求和。比如第一個神經(jīng)元z' = 輸入a*權(quán)重w3+...，那么C對這個神經(jīng)元求偏導(dǎo)，就是C對z'求偏導(dǎo)，乘上z'對a求偏導(dǎo)，后一項(xiàng)十分簡單，就是w3；對于z''來說，對a求偏導(dǎo)就是w4

那么問題又變成了，C對z', z''求偏導(dǎo)的結(jié)果是什么？

假！如！損失函數(shù)C對z'和z''的偏導(dǎo)已知了：

以上C對z求偏導(dǎo)的計算過程，可以寫作以下的式子，括號外就是a對z求偏導(dǎo)，括號內(nèi)就是C對a求偏導(dǎo)：

這個式子可以看做一個反向傳播的神經(jīng)元，如下圖所示：

這個神經(jīng)元中，損失函數(shù)C對sigmoid轉(zhuǎn)化前的z' 和z''求導(dǎo)的結(jié)果，就是輸入，權(quán)重w3,w4是輸入對應(yīng)的權(quán)重，將這兩個輸入乘上參數(shù)后相加，再和sigmoid函數(shù)對z的導(dǎo)數(shù)相乘，最終得到C對z的偏導(dǎo)。而sigmoid對z的導(dǎo)數(shù)，這個是常數(shù)，并且已經(jīng)是確定了的，因?yàn)槲覀兺ㄟ^前向傳播計算，就已經(jīng)能夠?qū)⑵浯_定。

有了第一個反向傳播的輸出結(jié)果，那么就可以有隱藏層的其他神經(jīng)元所需要的結(jié)果，以此類推，對于所有神經(jīng)元，我們均可算出損失函數(shù)對其z的偏導(dǎo)。有了這個，那么我們結(jié)合z對w的偏導(dǎo)，就可以計算出每一個參數(shù)w的梯度。從而進(jìn)行梯度下降。