python神經(jīng)網(wǎng)絡(luò)Keras實現(xiàn)GRU及其參數(shù)量
什么是GRU
GRU是LSTM的一個變種。
傳承了LSTM的門結(jié)構(gòu)，但是將LSTM的三個門轉(zhuǎn)化成兩個門，分別是更新門和重置門。
1、GRU單元的輸入與輸出
下圖是每個GRU單元的結(jié)構(gòu)。
在n時刻，每個GRU單元的輸入有兩個：
- 當前時刻網(wǎng)絡(luò)的輸入值Xt；
- 上一時刻GRU的輸出值ht-1；
輸出有一個：
當前時刻GRU輸出值ht；
2、GRU的門結(jié)構(gòu)
GRU含有兩個門結(jié)構(gòu)，分別是：
更新門zt和重置門rt：
更新門用于控制前一時刻的狀態(tài)信息被代入到當前狀態(tài)的程度，更新門的值越大說明前一時刻的狀態(tài)信息帶入越少，這一時刻的狀態(tài)信息帶入越多。
重置門用于控制忽略前一時刻的狀態(tài)信息的程度，重置門的值越小說明忽略得越多。
3、GRU的參數(shù)量計算
a、更新門
更新門在圖中的標號為zt，需要結(jié)合ht-1和Xt來決定上一時刻的輸出ht-1有多少得到保留，更新門的值越大說明前一時刻的狀態(tài)信息保留越少，這一時刻的狀態(tài)信息保留越多。
結(jié)合公式我們可以知道：
zt由ht-1和Xt來決定。
當更新門zt的值較大的時候，上一時刻的輸出ht-1保留較少，而這一時刻的狀態(tài)信息保留較多。
b、重置門
重置門在圖中的標號為rt，需要結(jié)合ht-1和Xt來控制忽略前一時刻的狀態(tài)信息的程度，重置門的值越小說明忽略得越多。
結(jié)合公式我們可以知道：
rt由ht-1和Xt來決定。
當重置門rt的值較小的時候，上一時刻的輸出ht-1保留較少，說明忽略得越多。
c、全部參數(shù)量
所以所有的門總參數(shù)量為：
在Keras中實現(xiàn)GRU
GRU一般需要輸入兩個參數(shù)。
一個是unit、一個是input_shape。
LSTM(CELL_SIZE, input_shape = (TIME_STEPS,INPUT_SIZE))
unit用于指定神經(jīng)元的數(shù)量。
input_shape用于指定輸入的shape，分別指定TIME_STEPS和INPUT_SIZE。
實現(xiàn)代碼
import numpy as np
from keras.models import Sequential
from keras.layers import Input,Activation,Dense
from keras.models import Model
from keras.datasets import mnist
from keras.layers.recurrent import GRU
from keras.utils import np_utils
from keras.optimizers import Adam
TIME_STEPS = 28
INPUT_SIZE = 28
BATCH_SIZE = 50
index_start = 0
OUTPUT_SIZE = 10
CELL_SIZE = 75
LR = 1e-3
(X_train,Y_train),(X_test,Y_test) = mnist.load_data()
X_train = X_train.reshape(-1,28,28)/255
X_test = X_test.reshape(-1,28,28)/255
Y_train = np_utils.to_categorical(Y_train,num_classes= 10)
Y_test = np_utils.to_categorical(Y_test,num_classes= 10)
inputs = Input(shape=[TIME_STEPS,INPUT_SIZE])
x = GRU(CELL_SIZE, input_shape = (TIME_STEPS,INPUT_SIZE))(inputs)
x = Dense(OUTPUT_SIZE)(x)
x = Activation("softmax")(x)
model = Model(inputs,x)
adam = Adam(LR)
model.summary()
model.compile(loss = 'categorical_crossentropy',optimizer = adam,metrics = ['accuracy'])
for i in range(50000):
X_batch = X_train[index_start:index_start + BATCH_SIZE,:,:]
Y_batch = Y_train[index_start:index_start + BATCH_SIZE,:]
index_start += BATCH_SIZE
cost = model.train_on_batch(X_batch,Y_batch)
if index_start >= X_train.shape[0]:
index_start = 0
if i%100 == 0:
cost,accuracy = model.evaluate(X_test,Y_test,batch_size=50)
print("accuracy:",accuracy)
實現(xiàn)效果：
10000/10000 [==============================] - 2s 231us/step accuracy: 0.16749999986961484 10000/10000 [==============================] - 2s 206us/step accuracy: 0.6134000015258789 10000/10000 [==============================] - 2s 214us/step accuracy: 0.7058000019192696 10000/10000 [==============================] - 2s 209us/step accuracy: 0.797899999320507
以上就是python神經(jīng)網(wǎng)絡(luò)Keras實現(xiàn)GRU及其參數(shù)量的詳細內(nèi)容，更多關(guān)于Keras實現(xiàn)GRU參數(shù)量的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
pytorch交叉熵損失函數(shù)的weight參數(shù)的使用
這篇文章主要介紹了pytorch交叉熵損失函數(shù)的weight參數(shù)的使用，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-05-05
本文主要介紹了Flask wtforms實現(xiàn)表單驗證使用，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-08-08
這篇文章主要介紹了python pygame 憤怒的小鳥游戲，本文通過實例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2021-02-02
這篇文章主要為大家介紹了Python中Array特性與應(yīng)用實例深入探究,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2024-01-01
python如何實現(xiàn)一個刷網(wǎng)頁小程序
這篇文章主要給大家介紹了關(guān)于利用python如何實現(xiàn)一個刷網(wǎng)頁小程序的相關(guān)資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2018-11-11
Lambda是一種匿名函數(shù)，當我們需要重復調(diào)用某一函數(shù)，又不想寫那么多代碼時可以使用lambda表達式來代替。本文給大家介紹Python中 Lambda表達式，需要的朋友一起學習吧2016-11-11
pytorch實現(xiàn)特殊的Module--Sqeuential三種寫法
今天小編就為大家分享一篇pytorch實現(xiàn)特殊的Module--Sqeuential三種寫法。具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-01-01
這篇文章主要介紹了django 類視圖的使用方法詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-07-07
這篇文章主要介紹了在Python中字典按值排序的實現(xiàn)方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-11-11
今天小編就為大家分享一篇Python同步遍歷多個列表的示例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-02-02