快捷導(dǎo)航

python機(jī)器學(xué)習(xí)之神經(jīng)網(wǎng)絡(luò)實現(xiàn)

更新時間：2021年05月08日 11:48:44 作者：Yaniesta

這篇文章主要為大家詳細(xì)介紹了python機(jī)器學(xué)習(xí)之神經(jīng)網(wǎng)絡(luò)的實現(xiàn)方法，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下

神經(jīng)網(wǎng)絡(luò)在機(jī)器學(xué)習(xí)中有很大的應(yīng)用，甚至涉及到方方面面。本文主要是簡單介紹一下神經(jīng)網(wǎng)絡(luò)的基本理論概念和推算。同時也會介紹一下神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)分類方面的應(yīng)用。

首先，當(dāng)我們建立一個回歸和分類模型的時候，無論是用最小二乘法（OLS）還是最大似然值（MLE）都用來使得殘差達(dá)到最小。因此我們在建立模型的時候，都會有一個loss function。

而在神經(jīng)網(wǎng)絡(luò)里也不例外，也有個類似的loss function。

對回歸而言：

對分類而言：

然后同樣方法，對于W開始求導(dǎo)，求導(dǎo)為零就可以求出極值來。

關(guān)于式子中的W。我們在這里以三層的神經(jīng)網(wǎng)絡(luò)為例。先介紹一下神經(jīng)網(wǎng)絡(luò)的相關(guān)參數(shù)。

第一層是輸入層，第二層是隱藏層，第三層是輸出層。

在X1，X2經(jīng)過W1的加權(quán)后，達(dá)到隱藏層，然后經(jīng)過W2的加權(quán)，到達(dá)輸出層

其中，

我們有：

至此，我們建立了一個初級的三層神經(jīng)網(wǎng)絡(luò)。

當(dāng)我們要求其的loss function最小時，我們需要逆向來求，也就是所謂的backpropagation。

我們要分別對W1和W2進(jìn)行求導(dǎo)，然后求出其極值。

從右手邊開始逆推，首先對W2進(jìn)行求導(dǎo)。

代入損失函數(shù)公式：

然后，我們進(jìn)行化簡：

化簡到這里，我們同理再對W1進(jìn)行求導(dǎo)。

我們可以發(fā)現(xiàn)當(dāng)我們在做bp網(wǎng)絡(luò)時候，有一個逆推回去的誤差項，其決定了loss function 的最終大小。

在實際的運(yùn)算當(dāng)中，我們會用到梯度求解，來求出極值點(diǎn)。

總結(jié)一下來說，我們使用向前推進(jìn)來理順神經(jīng)網(wǎng)絡(luò)做到回歸分類等模型。而向后推進(jìn)來計算他的損失函數(shù)，使得參數(shù)W有一個最優(yōu)解。

當(dāng)然，和線性回歸等模型相類似的是，我們也可以加上正則化的項來對W參數(shù)進(jìn)行約束，以免使得模型的偏差太小，而導(dǎo)致在測試集的表現(xiàn)不佳。

Python 的實現(xiàn)：

使用了KERAS的庫

解決線性回歸：

model.add(Dense(1, input_dim=n_features, activation='linear', use_bias=True))

# Use mean squared error for the loss metric and use the ADAM backprop algorithm
model.compile(loss='mean_squared_error', optimizer='adam')

# Train the network (learn the weights)
# We need to convert from DataFrame to NumpyArray
history = model.fit(X_train.values, y_train.values, epochs=100, 
     batch_size=1, verbose=2, validation_split=0)

解決多重分類問題：

# create model
model = Sequential()
model.add(Dense(64, activation='relu', input_dim=n_features))
model.add(Dropout(0.5))
model.add(Dense(64, activation='relu'))
model.add(Dropout(0.5))
# Softmax output layer
model.add(Dense(7, activation='softmax'))

model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

model.fit(X_train.values, y_train.values, epochs=20, batch_size=16)

y_pred = model.predict(X_test.values)

y_te = np.argmax(y_test.values, axis = 1)
y_pr = np.argmax(y_pred, axis = 1)

print(np.unique(y_pr))

print(classification_report(y_te, y_pr))

print(confusion_matrix(y_te, y_pr))

當(dāng)我們選取最優(yōu)參數(shù)時候，有很多種解決的途徑。這里就介紹一種是gridsearchcv的方法，這是一種暴力檢索的方法，遍歷所有的設(shè)定參數(shù)來求得最優(yōu)參數(shù)。

from sklearn.model_selection import GridSearchCV

def create_model(optimizer='rmsprop'):
 model = Sequential()
 model.add(Dense(64, activation='relu', input_dim=n_features))
 model.add(Dropout(0.5))
 model.add(Dense(64, activation='relu'))
 model.add(Dropout(0.5))
 model.add(Dense(7, activation='softmax'))
 model.compile(loss='categorical_crossentropy', optimizer=optimizer, metrics=['accuracy'])
 
 return model

model = KerasClassifier(build_fn=create_model, verbose=0)

optimizers = ['rmsprop']
epochs = [5, 10, 15]
batches = [128]


param_grid = dict(optimizer=optimizers, epochs=epochs, batch_size=batches, verbose=['2'])
grid = GridSearchCV(estimator=model, param_grid=param_grid)

grid.fit(X_train.values, y_train.values)

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章: