快捷導(dǎo)航

TensorFlow keras卷積神經(jīng)網(wǎng)絡(luò) 添加L2正則化方式

更新時間：2020年05月22日 08:44:27 作者：高顏值的殺生丸

這篇文章主要介紹了TensorFlow keras卷積神經(jīng)網(wǎng)絡(luò) 添加L2正則化方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

我就廢話不多說了，大家還是直接看代碼吧！

model = keras.models.Sequential([
 #卷積層1
 keras.layers.Conv2D(32,kernel_size=5,strides=1,padding="same",data_format="channels_last",activation=tf.nn.relu,kernel_regularizer=keras.regularizers.l2(0.01)),
 #池化層1
 keras.layers.MaxPool2D(pool_size=2,strides=2,padding="same"),
 #卷積層2
 keras.layers.Conv2D(64,kernel_size=5,strides=1,padding="same",data_format="channels_last",activation=tf.nn.relu),
 #池化層2
 keras.layers.MaxPool2D(pool_size=2,strides=2,padding="same"),
 #數(shù)據(jù)整理
 keras.layers.Flatten(),
 #1024個，全連接層
 keras.layers.Dense(1024,activation=tf.nn.relu),
 #100個，全連接層
 keras.layers.Dense(100,activation=tf.nn.softmax)
 ])

import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
 
from tensorflow.python.keras.datasets import cifar100
from tensorflow.python import keras
import tensorflow as tf
 
class CNNMnist(object):
 
 model = keras.models.Sequential([
 #卷積層1
 keras.layers.Conv2D(32,kernel_size=5,strides=1,padding="same",data_format="channels_last",activation=tf.nn.relu,kernel_regularizer=keras.regularizers.l2(0.01)),
 #池化層1
 keras.layers.MaxPool2D(pool_size=2,strides=2,padding="same"),
 #卷積層2
 keras.layers.Conv2D(64,kernel_size=5,strides=1,padding="same",data_format="channels_last",activation=tf.nn.relu),
 #池化層2
 keras.layers.MaxPool2D(pool_size=2,strides=2,padding="same"),
 #數(shù)據(jù)整理
 keras.layers.Flatten(),
 #1024個，全連接層
 keras.layers.Dense(1024,activation=tf.nn.relu),
 #100個，全連接層
 keras.layers.Dense(100,activation=tf.nn.softmax)
 ])
 
 def __init__(self):
 (self.x_train,self.y_train),(self.x_test,self.y_test) = cifar100.load_data()
 
 self.x_train = self.x_train/255.0
 self.x_test = self.x_test/255.0
 
 
 def compile(self):
 CNNMnist.model.compile(optimizer=keras.optimizers.Adam(),loss=keras.losses.sparse_categorical_crossentropy,metrics=["accuracy"])
 
 def fit(self):
 CNNMnist.model.fit(self.x_train,self.y_train,epochs=1,batch_size=32)
 
 def evaluate(self):
 test_loss,test_acc = CNNMnist.model.evaluate(self.x_test,self.y_test)
 print(test_loss,test_acc)
 
if __name__ == '__main__':
 cnn = CNNMnist()
 print(CNNMnist.model.summary())
 cnn.compile()
 cnn.fit()

補充知識：初步了解TensorFlow如何實現(xiàn)正則化

為了避免過擬合問題，一個非常常用的方法是正則化（regularization），正則化的思想就是在損失函數(shù)中加入刻畫模型復(fù)雜程度的指標。

假設(shè)用于刻畫模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)的損失函數(shù)為J(θ)，那么在優(yōu)化時不是直接優(yōu)化J(θ)，而是優(yōu)化J(θ) + λR(w)，其中R(w)刻畫的是模型的復(fù)雜程度，而λ表示模型復(fù)雜損失在總損失中的比例，需要注意的是，這里的θ表示的是一個神經(jīng)網(wǎng)絡(luò)中所有的參數(shù)，它包括邊上的權(quán)重w和偏置項b，但一般來說模型復(fù)雜度只由權(quán)重w決定。

常用的刻畫模型復(fù)雜度的函數(shù)R(w)有兩種，一種是L1正則化，計算公式是：

另一種是L2正則化，計算公式是：

TensorFlow可以優(yōu)化任意形式的損失函數(shù)，所以TensorFlow自然也可以優(yōu)化帶正則化的損失函數(shù)。

L1正則化和L2正則化，在TensorFlow中分別以不同的函數(shù)實現(xiàn)它們，以下列代碼為示例：

#含有L1正則化的損失函數(shù)：
loss = tf.reduce_mean(tf.square(y_ - y)) + tf.contrib.layers.l1_regularizer(λ)(w)

#含有L2正則化的損失函數(shù)：
loss = tf.reduce_mean(tf.square(y_ - y)) + tf.contrib.layers.l2_regularizer(λ)(w)

loss為定義的損失函數(shù)，它由兩個部分組成，第一個部分是均方誤差損失函數(shù)，它刻畫了模型在訓(xùn)練數(shù)據(jù)上的表現(xiàn)，第二個部分就是正則化，它防止模型過度模擬訓(xùn)練數(shù)據(jù)中的隨機噪音；

λ表示了正則化項的權(quán)重，w為需要計算正則化損失的參數(shù)。

TensorFlow提供了tf.contrib.layers.l1_regularizer函數(shù)和tf.contrib.layers.l2_regularizer函數(shù)用來計算L1正則化和L2正則化，通過以下代碼給出使用兩個函數(shù)的樣例：

import tensorflow as tf
weights = tf.constant([[1.0, -2.0], [-3.0, 4.0]])
with tf.Session() as sess:
 #計算結(jié)果為5.0
 print(sess.run(tf.contrib.layers.l1_regularizer(0.5)(weights)))
 #計算結(jié)果為15 * 1/2 = 7.5，L2正則化乘以1/2可以方便求導(dǎo)
 print(sess.run(tf.contrib.layers.l2_regularizer(0.5)(weights)))

在簡單的神經(jīng)網(wǎng)絡(luò)中，這樣的方式就可以很好地計算帶正則化的損失函數(shù)了，但當神經(jīng)網(wǎng)絡(luò)的參數(shù)增多之后，這樣的方式首先可能導(dǎo)致?lián)p失函數(shù)loss的定義很長，可讀性差且容易出錯，更主要的是，當網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜之后定義網(wǎng)絡(luò)結(jié)構(gòu)的部分和計算損失函數(shù)的部分可能不在同一個函數(shù)中，這樣通過變量這種方式計算損失函數(shù)就不方便了。

為了解決這個問題，可以使用TensorFlow中提供的集合（collection）來維護需要計算的正則化損失，以下列代碼為示例給出通過集合計算一個5層神經(jīng)網(wǎng)絡(luò)帶L2正則化的損失函數(shù)的計算方法：

import tensorflow as tf

#獲取一層神經(jīng)網(wǎng)絡(luò)邊上的權(quán)重，并將這個權(quán)重的L2正則化損失加入名稱為losses的集合中
def get_weight(shape, r):
 #生成一個變量
 var = tf.Variable(tf.random_normal(shape, stddev=1, seed=1), dtype=tf.float32)
 '''add_to_collection函數(shù)將這個新生成變量的L2正則化損失項加入集合
 這個函數(shù)的第一個參數(shù)losses是集合的名字，第二個參數(shù)是要加入這個集合的內(nèi)容'''
 tf.add_to_collection('losses', tf.contrib.layers.l2_regularizer(r)(var))
 return var

x = tf.placeholder(tf.float32, shape=(None, 2))
y_ = tf.placeholder(tf.float32, shape=(None, 1))

#定義了每一層網(wǎng)絡(luò)中節(jié)點的個數(shù)
layer_dimension = [2, 10, 10, 10, 1]
#神經(jīng)網(wǎng)絡(luò)的層數(shù)
n_layers = len(layer_dimension)

#這個變量維護前向傳播時最深層的節(jié)點，開始的時候就是輸入層
cur_layer = x
#in_dimension為當前層的節(jié)點個數(shù)
in_dimension = layer_dimension[0]

#通過一個循環(huán)來生成5層全連接的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
for i in range(1, n_layers):
 #out_dimension為下一層的節(jié)點個數(shù)
 out_dimension = layer_dimension[i]
 #生成當前層中權(quán)重的變量，并將這個變量的L2正則化損失加入losses集合
 weight = get_weight([in_dimension, out_dimension], 0.001)
 bias = tf.Variable(tf.fill([1, out_dimension], 0.1))
 #使用ReLU激活函數(shù)
 cur_layer = tf.nn.relu(tf.matmul(cur_layer, weight) + bias)
 #進入下一層之前將下一層的節(jié)點個數(shù)更新為當前層節(jié)點個數(shù)
 in_dimension = out_dimension

'''在定義神經(jīng)網(wǎng)絡(luò)前向傳播的同時已經(jīng)將所有的L2正則化損失加入了losses集合
這里只需要計算刻畫模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)的損矣函數(shù)。'''
mse_loss = tf.reduce_mean(tf.square(y_ - cur_layer))

#將均方誤差損失函數(shù)加入損失集合
tf.add_to_collection('losses', mse_loss)

'''get_collection返回一個列表，這個列表包含所有這個集合中的元素
在這個樣例中這些元素就是損失函數(shù)的不同部分，將它們加起來就可以得到最終的損失函數(shù)。'''
loss = tf.add_n(tf.get_collection('losses'))

以上這篇TensorFlow keras卷積神經(jīng)網(wǎng)絡(luò) 添加L2正則化方式就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章: