快捷導(dǎo)航

tensorflow中Dense函數(shù)的具體使用

更新時(shí)間：2023年03月02日 09:46:23 作者：一窮二白到年薪百萬

本文主要介紹了tensorflow中Dense函數(shù)的具體使用，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

1 作用

注意此處Tensorflow版本是2.0+。
由于本人是Pytorch用戶，對(duì)Tensorflow不是很熟悉，在讀到用tf寫的代碼時(shí)就很是麻煩。如圖所示，遇到了如下代碼：

h = Dense(units=adj_dim, activation=None)(dec_in)

Dense層就是全連接層，對(duì)于層方式的初始化的時(shí)候，layers.Dense(units,activation)函數(shù)一般只需要指定輸出節(jié)點(diǎn)數(shù)Units和激活函數(shù)類型即可。輸入節(jié)點(diǎn)數(shù)將根據(jù)第一次運(yùn)算時(shí)輸入的shape確定，同時(shí)輸入、輸出節(jié)點(diǎn)自動(dòng)創(chuàng)建并初始化權(quán)值w和偏置向量b。

下面是Dense的接口

Dense(units,
activation=None,
use_bias=True,
kernel_initializer='glorot_uniform',
bias_initializer='zeros',
kernel_regularizer=None,
bias_regularizer=None,
activity_regularizer=None,
kernel_constraint=None, bias_constraint=None)

units, 代表該層的輸出維度
activation=None, 激活函數(shù).但是默認(rèn) liner
use_bias=True, 是否使用b 直線 y=ax+b 中的 b

此處沒有寫 iuput 的情況, 通常會(huì)有兩種寫法：

1 ： Dense(units,input_shape())

2 ： Dense(units)(x) #這里的 x 是以張量.

Dense( n )( x ) : = ReLU ( W x + b )

W 是權(quán)重函數(shù), Dense() 會(huì)隨機(jī)給 W 一個(gè)初始值。所以這里跟Pytorch的nn.linear()一樣。

2 例子

# 使用第一種方法進(jìn)行初始化
# 作為 Sequential 模型的第一層，需要指定輸入維度?？梢詾?input_shape=(16,) 或者 input_dim=16，這兩者是等價(jià)的。
model = Sequential()
model.add(Dense(32, input_shape=(16,)))
# 現(xiàn)在模型就會(huì)以尺寸為 (*, 16) 的數(shù)組作為輸入，
# 其輸出數(shù)組的尺寸為 (*, 32)

# 在第一層之后，就不再需要指定輸入的尺寸了：
model.add(Dense(32))

3 與torch.nn.Linear的區(qū)別

# Pytorch實(shí)現(xiàn)
trd = torch.nn.Linear(in_features = 3, out_features = 30)
y = trd(torch.ones(5, 3))
print(y.size())
# torch.Size([5, 30])

# Tensorflow實(shí)現(xiàn)
model = tf.keras.models.Sequential()
model.add(tf.keras.layers.Dense(30, input_shape=(5,), activation=None))
————————————————————————————————————
tfd = tf.keras.layers.Dense(30, input_shape=(3,), activation=None)
x = tfd(tf.ones(shape=(5, 3)))
print(x.shape)
# (5, 30)

上面Tensorflow的實(shí)現(xiàn)方式相同，但是我存在疑惑