關于Keras Dense層整理
我就廢話不多說了，大家還是直接看代碼吧！
''' Created on 2018-4-4 ''' keras.layers.core.Dense( units, #代表該層的輸出維度 activation=None, #激活函數(shù).但是默認 liner use_bias=True, #是否使用b kernel_initializer='glorot_uniform', #初始化w權重，keras/initializers.py bias_initializer='zeros', #初始化b權重 kernel_regularizer=None, #施加在權重w上的正則項,keras/regularizer.py bias_regularizer=None, #施加在偏置向量b上的正則項 activity_regularizer=None, #施加在輸出上的正則項 kernel_constraint=None, #施加在權重w上的約束項 bias_constraint=None #施加在偏置b上的約束項 ) # 所實現(xiàn)的運算是output = activation(dot(input, kernel)+bias) # model.add(Dense(units=64, activation='relu', input_dim=784)) # keras初始化所有激活函數(shù),activation: # keras\activations.py # keras\backend\cntk_backend.py # import cntk as C # 1.softmax： # 對輸入數(shù)據(jù)的最后一維進行softmax，一般用在輸出層; # ndim == 2,K.softmax(x),其實調用的是cntk，是一個模塊; # ndim >= 2,e = K.exp(x - K.max(x)),s = K.sum(e),return e / s # 2.elu # K.elu(x) # 3.selu: 可伸縮的指數(shù)線性單元 # alpha = 1.6732632423543772848170429916717 # scale = 1.0507009873554804934193349852946 # return scale * K.elu(x, alpha) # 4.softplus # C.softplus(x) # 5.softsign # return x / (1 + C.abs(x)) # 6.relu # def relu(x, alpha=0., max_value=None): # if alpha != 0.: # negative_part = C.relu(-x) # x = C.relu(x) # if max_value is not None: # x = C.clip(x, 0.0, max_value) # if alpha != 0.: # x -= alpha * negative_part # return x # 7.tanh # return C.tanh(x) # 8.sigmoid # return C.sigmoid(x) # 9.hard_sigmoid # x = (0.2 * x) + 0.5 # x = C.clip(x, 0.0, 1.0) # return x # 10.linear # return x # keras初始化所有方法，initializer: # Zeros # Ones # Constant(固定一個值) # RandomNormal(正態(tài)分布) # RandomUniform(均勻分布) # TruncatedNormal(截尾高斯分布,神經(jīng)網(wǎng)絡權重和濾波器的推薦初始化方法) # VarianceScaling(該初始化方法能夠自適應目標張量的shape) # Orthogonal(隨機正交矩陣初始化) # Identiy(單位矩陣初始化，僅適用于2D方陣) # lecun_uniform(LeCun均勻分布初始化) # lecun_normal(LeCun正態(tài)分布初始化) # glorot_normal(Glorot正態(tài)分布初始化) # glorot_uniform(Glorot均勻分布初始化) # he_normal(He正態(tài)分布初始化) # he_uniform(He均勻分布初始化,Keras中文文檔寫錯了) # keras正則化，regularizer: # import backend as K # L1: regularization += K.sum(self.l1 * K.abs(x)) # L2: regularization += K.sum(self.l2 * K.square(x))
補充知識：keras.layers.Dense()方法及其參數(shù)
一、Dense層
keras.layers.Dense(units, activation=None, use_bias=True, kernel_initializer='glorot_uniform', bias_initializer='zeros', kernel_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, bias_constraint=None)
二、參數(shù)
units: 神經(jīng)元節(jié)點數(shù)數(shù)，雞輸出空間維度。
activation: 激活函數(shù)，若不指定，則不使用激活函數(shù) (即線性激活: a(x) = x)。
use_bias: 布爾值，該層是否使用偏置向量。
kernel_initializer: kernel 權值矩陣的初始化器
bias_initializer: 偏置向量的初始化器
kernel_regularizer: 運用到 kernel 權值矩陣的正則化函數(shù)
bias_regularizer: 運用到偏置向的的正則化函數(shù)
activity_regularizer: 運用到層的輸出的正則化函數(shù) (它的 “activation”)。
kernel_constraint: 運用到 kernel 權值矩陣的約束函數(shù)
bias_constraint: 運用到偏置向量的約束函數(shù)
三、示例
例1：
from keras.layers import Dense # 作為 Sequential 模型的第一層 model = Sequential() model.add(Dense(32, input_shape=(16,))) # 現(xiàn)在模型就會以尺寸為 (*, 16) 的數(shù)組作為輸入， # 其輸出數(shù)組的尺寸為 (*, 32) # 在第一層之后，你就不再需要指定輸入的尺寸了： model.add(Dense(32))
注意在Sequential模型的第一層要定義Dense層的形狀，此處定義為input_shape=(16,)
例2：
from keras.layers import Dense model = Sequential() model.add(Dense(512, activation= 'sigmoid', input_dim= 2, use_bias= True))
這里定義了一個有512個神經(jīng)元節(jié)點，使用sigmoid激活函數(shù)的神經(jīng)層，此時輸入形狀參數(shù)為input_dim,注意它與input_shape參數(shù)的區(qū)別。
input_shape：即張量的形狀，從前往后對應由外向內的維度
例
[[1],[2],[3]] 這個張量的shape為（3,1）
[[[1,2],[3,4]],[[5,6],[7,8]],[[9,10],[11,12]]]這個張量的shape為（3,2,2）,
[1,2,3,4]這個張量的shape為（4，）
input_dim：代表張量的維度，之前3個例子的input_dim分別為2,3,1。
常見的一種用法：只提供了input_dim=32，說明輸入是一個32維的向量，相當于一個一階、擁有32個元素的張量，它的shape就是（32，）。因此，input_shape=(32, )
四、總結
本文對Dense（）方法及其參數(shù)做了詳細的介紹，并對其用法進行了大概的講解，有什么問題可以評論區(qū)留言或者聯(lián)系我，我會及時解答。希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
在本篇文章里小編給大家分享了關于python求圓面積的實例代碼及相關擴展內容，需要的朋友們可以學習下。2020-07-07
NumPy（Numerical Python）是Python的一種開源的數(shù)值計算擴展。這種工具可用來存儲和處理大型矩陣。但其實NumPy還可以繪制圖畫，本文將為大家介紹如何通過NumPy繪制彩色圖畫，感興趣的小伙伴可以了解一下2021-12-12
目前很多數(shù)據(jù)以nc格式存儲，下面這篇文章主要給大家介紹了關于利用python如何處理nc數(shù)據(jù)的相關資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值。需要的朋友們下面來一起看看吧2018-05-05
python的pandas工具包，保存.csv文件時不要表頭的實例
今天小編小編就為大家分享一篇python的pandas工具包，保存.csv文件時不要表頭的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06
python sklearn庫實現(xiàn)簡單邏輯回歸的實例代碼
Scikit-learn(sklearn)是機器學習中常用的第三方模塊，對常用的機器學習方法進行了封裝，這篇文章主要介紹了python sklearn庫實現(xiàn)簡單邏輯回歸的實例代碼,需要的朋友可以參考下2019-07-07
Python沙箱可以幫助你在安全的環(huán)境中運行不受信任的代碼,本文將探討?Python?沙箱的概念、常見的沙箱技術以及如何避免沙箱逃逸,感興趣的可以了解下2024-01-01
這篇文章主要介紹了Python運行提示缺少模塊問題解決方案,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-04-04
這篇文章主要為大家介紹了Pandas中實現(xiàn)批量替換字符的六種方法，文中的示例代碼講解詳細，對我們學習或工作有一定幫助，需要的可以參考一下2022-03-03
這篇文章主要介紹了python 等差數(shù)列末項計算方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05
這篇文章主要介紹了Pytorch 使用CNN圖像分類的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-06-06