使用Pytorch+PyG實(shí)現(xiàn)MLP的詳細(xì)過(guò)程

更新時(shí)間：2023年03月03日 10:43:06 作者：???海洋?之心???

圖神經(jīng)網(wǎng)絡(luò)是最近 AI 領(lǐng)域最熱門(mén)的方向之一,下面這篇文章主要給大家介紹了關(guān)于使用Pytorch+PyG實(shí)現(xiàn)MLP的詳細(xì)過(guò)程,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下

我的項(xiàng)目環(huán)境：

平臺(tái)：Windows10
語(yǔ)言環(huán)境：python3.7
編譯器：PyCharm
PyTorch版本：1.11.0
PyG版本：2.1.0

本文我們將使用Pytorch + Pytorch Geometric來(lái)簡(jiǎn)易實(shí)現(xiàn)一個(gè)MLP（感知機(jī)網(wǎng)絡(luò)），讓新手可以理解如何PyG來(lái)搭建一個(gè)簡(jiǎn)易的圖網(wǎng)絡(luò)實(shí)例demo。

一、導(dǎo)入相關(guān)庫(kù)

本項(xiàng)目我們需要結(jié)合兩個(gè)庫(kù)，一個(gè)是Pytorch，因?yàn)檫€需要按照torch的網(wǎng)絡(luò)搭建模型進(jìn)行書(shū)寫(xiě)，第二個(gè)是PyG，因?yàn)樵趖orch中并沒(méi)有關(guān)于圖網(wǎng)絡(luò)層的定義，所以需要torch_geometric這個(gè)庫(kù)來(lái)定義一些圖層。

import torch
import torch.nn.functional as F
import torch.nn as nn
import torch_geometric.nn as pyg_nn
from torch_geometric.datasets import Planetoid

二、加載Cora數(shù)據(jù)集

本文使用的數(shù)據(jù)集是比較經(jīng)典的Cora數(shù)據(jù)集，它是一個(gè)根據(jù)科學(xué)論文之間相互引用關(guān)系而構(gòu)建的Graph數(shù)據(jù)集合，論文分為7類(lèi)，共2708篇。

Genetic_Algorithms
Neural_Networks
Probabilistic_Methods
Reinforcement_Learning
Rule_Learning
Theory

這個(gè)數(shù)據(jù)集是一個(gè)用于圖節(jié)點(diǎn)分類(lèi)的任務(wù)，數(shù)據(jù)集中只有一張圖，這張圖中含有2708個(gè)節(jié)點(diǎn)，10556條邊，每個(gè)節(jié)點(diǎn)的特征維度為1433。

# 1.加載Cora數(shù)據(jù)集
dataset = Planetoid(root='./data/Cora', name='Cora')

三、定義MLP網(wǎng)絡(luò)

這里我們就不重點(diǎn)介紹MLP網(wǎng)絡(luò)了，相信大家能夠掌握基本原理，本文我們使用的是PyG定義網(wǎng)絡(luò)層，在PyG中已經(jīng)定義好了MLP這個(gè)層，該層采用的就是感知機(jī)機(jī)制。

對(duì)于MLP的常用參數(shù)：

channel_list：樣本輸入層、中間層、輸出層維度的列表
in_channels：每個(gè)樣本的輸入維度，就是每個(gè)節(jié)點(diǎn)的特征維度
hidden_channels：?jiǎn)螌由窠?jīng)網(wǎng)絡(luò)中間的隱層大小
out_channels：經(jīng)過(guò)MLP后映射成的新的維度，就是經(jīng)過(guò)MLP后每個(gè)節(jié)點(diǎn)的維度長(zhǎng)度
num_layers：感知機(jī)層數(shù)
dropout：每個(gè)隱藏層的丟棄率，如果存在多層可以使用列表傳入
act：激活函數(shù)，默認(rèn)為relu
bias：訓(xùn)練一個(gè)偏置b

對(duì)于本文實(shí)現(xiàn)的 pyg_nn.MLP([num_node_features, 32, 64, 128]) 的含義就是定義一個(gè)三層的感知機(jī)網(wǎng)絡(luò)，按照 PyTorch 實(shí)現(xiàn)等價(jià)于如下代碼：

lin_1 = nn.Linear(num_node_features, 32)
lin_2 = nn.Linear(32, 64)
lin_3 = nn.Linear(64, 128)

對(duì)于 PyG 中實(shí)現(xiàn)起來(lái)較為簡(jiǎn)單，以列表方式傳入所以隱層大小即可，第一個(gè)維度代表樣本的輸入特征維度，最后一個(gè)維度代表輸出的維度大小，中間維度代表隱層的大小，所以 len(channel_list) - 1 代表 MLP 的層數(shù)，這種方式是以傳入 channel_list 方式定義模型，還可以按照正常參數(shù)方式進(jìn)行傳遞定義，代碼如下：

pyg_nn.MLP(in_channels=16,
		   hidden_channels=32,
		   out_channels=128,
		   num_layers=3)

網(wǎng)絡(luò)定義代碼如下：

# 2.定義MLP網(wǎng)絡(luò)
class MLP(nn.Module):
    def __init__(self, num_node_features, num_classes):
        super(MLP, self).__init__()
        self.lin_1 = pyg_nn.MLP([num_node_features, 32, 64, 128])
        self.lin_2 = pyg_nn.MLP([128, 64, 32, num_classes])
        
    def forward(self, data):
        x, edge_index = data.x, data.edge_index
        
        x = self.lin_1(x, edge_index)
        x = F.relu(x)
        x = F.dropout(x, training=self.training)
        x = self.lin_2(x, edge_index)
        
        return F.log_softmax(x, dim=1)

上面網(wǎng)絡(luò)我們定義了兩個(gè)MLP層，第一層的參數(shù)的輸入維度就是初始每個(gè)節(jié)點(diǎn)的特征維度，輸出維度是128。

第二個(gè)層的輸入維度為128，輸出維度為分類(lèi)個(gè)數(shù)，因?yàn)槲覀冃枰獙?duì)每個(gè)節(jié)點(diǎn)進(jìn)行分類(lèi)，最終加上softmax操作。

四、定義模型

下面就是定義了一些模型需要的參數(shù)，像學(xué)習(xí)率、迭代次數(shù)這些超參數(shù)，然后是模型的定義以及優(yōu)化器及損失函數(shù)的定義，和pytorch定義網(wǎng)絡(luò)是一樣的。

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') # 設(shè)備
epochs = 10 # 學(xué)習(xí)輪數(shù)
lr = 0.003 # 學(xué)習(xí)率
num_node_features = dataset.num_node_features # 每個(gè)節(jié)點(diǎn)的特征數(shù)
num_classes = dataset.num_classes # 每個(gè)節(jié)點(diǎn)的類(lèi)別數(shù)
data = dataset[0].to(device) # Cora的一張圖

# 3.定義模型
model = MLP(num_node_features, num_classes).to(device)
optimizer = torch.optim.Adam(model.parameters(), lr=lr) # 優(yōu)化器
loss_function = nn.NLLLoss() # 損失函數(shù)

五、模型訓(xùn)練

模型訓(xùn)練部分也是和pytorch定義網(wǎng)絡(luò)一樣，因?yàn)槎际切枰?jīng)過(guò)前向傳播、反向傳播這些過(guò)程，對(duì)于損失、精度這些指標(biāo)可以自己添加。

# 訓(xùn)練模式
model.train()

for epoch in range(epochs):
    optimizer.zero_grad()
    pred = model(data)
    
    loss = loss_function(pred[data.train_mask], data.y[data.train_mask]) # 損失
    correct_count_train = pred.argmax(axis=1)[data.train_mask].eq(data.y[data.train_mask]).sum().item() # epoch正確分類(lèi)數(shù)目
    acc_train = correct_count_train / data.train_mask.sum().item() # epoch訓(xùn)練精度
    
    loss.backward()
    optimizer.step()
    
    if epoch % 20 == 0:
        print("【EPOCH: 】%s" % str(epoch + 1))
        print('訓(xùn)練損失為：{:.4f}'.format(loss.item()), '訓(xùn)練精度為：{:.4f}'.format(acc_train))

print('【Finished Training！】')

六、模型驗(yàn)證

下面就是模型驗(yàn)證階段，在訓(xùn)練時(shí)我們是只使用了訓(xùn)練集，測(cè)試的時(shí)候我們使用的是測(cè)試集，注意這和傳統(tǒng)網(wǎng)絡(luò)測(cè)試不太一樣，在圖像分類(lèi)一些經(jīng)典任務(wù)中，我們是把數(shù)據(jù)集分成了兩份，分別是訓(xùn)練集、測(cè)試集，但是在Cora這個(gè)數(shù)據(jù)集中并沒(méi)有這樣，它區(qū)分訓(xùn)練集還是測(cè)試集使用的是掩碼機(jī)制，就是定義了一個(gè)和節(jié)點(diǎn)長(zhǎng)度相同緯度的數(shù)組，該數(shù)組的每個(gè)位置為T(mén)rue或者False，標(biāo)記著是否使用該節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行訓(xùn)練。

# 模型驗(yàn)證
model.eval()
pred = model(data)

# 訓(xùn)練集（使用了掩碼）
correct_count_train = pred.argmax(axis=1)[data.train_mask].eq(data.y[data.train_mask]).sum().item()
acc_train = correct_count_train / data.train_mask.sum().item()
loss_train = loss_function(pred[data.train_mask], data.y[data.train_mask]).item()

# 測(cè)試集
correct_count_test = pred.argmax(axis=1)[data.test_mask].eq(data.y[data.test_mask]).sum().item()
acc_test = correct_count_test / data.test_mask.sum().item()
loss_test = loss_function(pred[data.test_mask], data.y[data.test_mask]).item()

print('Train Accuracy: {:.4f}'.format(acc_train), 'Train Loss: {:.4f}'.format(loss_train))
print('Test  Accuracy: {:.4f}'.format(acc_test), 'Test  Loss: {:.4f}'.format(loss_test))

七、結(jié)果

【EPOCH: 】1
訓(xùn)練損失為：1.9856 訓(xùn)練精度為：0.1786
【EPOCH: 】21
訓(xùn)練損失為：1.5419 訓(xùn)練精度為：0.4643
【EPOCH: 】41
訓(xùn)練損失為：1.1653 訓(xùn)練精度為：0.6500
【EPOCH: 】61
訓(xùn)練損失為：0.8062 訓(xùn)練精度為：0.8071
【EPOCH: 】81
訓(xùn)練損失為：0.5322 訓(xùn)練精度為：0.9286
【EPOCH: 】101
訓(xùn)練損失為：0.3487 訓(xùn)練精度為：0.9714
【EPOCH: 】121
訓(xùn)練損失為：0.2132 訓(xùn)練精度為：0.9571
【EPOCH: 】141
訓(xùn)練損失為：0.1043 訓(xùn)練精度為：0.9929
【EPOCH: 】161
訓(xùn)練損失為：0.0601 訓(xùn)練精度為：1.0000
【EPOCH: 】181
訓(xùn)練損失為：0.0420 訓(xùn)練精度為：1.0000
【Finished Training！】

>>>Train Accuracy: 1.0000 Train Loss: 0.0092
>>>Test Accuracy: 0.1800 Test Loss: 1.9587

	訓(xùn)練集	測(cè)試集
Accuracy	1.0000	0.1800
Loss	0.0092	1.9587

完整代碼

import torch
import torch.nn.functional as F
import torch.nn as nn
import torch_geometric.nn as pyg_nn
from torch_geometric.datasets import Planetoid

# 1.加載Cora數(shù)據(jù)集
dataset = Planetoid(root='./data/Cora', name='Cora')

# 2.定義MLP網(wǎng)絡(luò)
class MLP(nn.Module):
    def __init__(self, num_node_features, num_classes):
        super(MLP, self).__init__()
        self.lin_1 = pyg_nn.MLP([num_node_features, 32, 64, 128])
        self.lin_2 = pyg_nn.MLP([128, 64, 32, num_classes])
        
    def forward(self, data):
        x, edge_index = data.x, data.edge_index
        
        x = self.lin_1(x, edge_index)
        x = F.relu(x)
        x = F.dropout(x, training=self.training)
        x = self.lin_2(x, edge_index)
        
        return F.log_softmax(x, dim=1)

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') # 設(shè)備
epochs = 200 # 學(xué)習(xí)輪數(shù)
lr = 0.0003 # 學(xué)習(xí)率
num_node_features = dataset.num_node_features # 每個(gè)節(jié)點(diǎn)的特征數(shù)
num_classes = dataset.num_classes # 每個(gè)節(jié)點(diǎn)的類(lèi)別數(shù)
data = dataset[0].to(device) # Cora的一張圖

# 3.定義模型
model = MLP(num_node_features, num_classes).to(device)
optimizer = torch.optim.Adam(model.parameters(), lr=lr) # 優(yōu)化器
loss_function = nn.NLLLoss() # 損失函數(shù)

# 訓(xùn)練模式
model.train()

for epoch in range(epochs):
    optimizer.zero_grad()
    pred = model(data)
    
    loss = loss_function(pred[data.train_mask], data.y[data.train_mask]) # 損失
    correct_count_train = pred.argmax(axis=1)[data.train_mask].eq(data.y[data.train_mask]).sum().item() # epoch正確分類(lèi)數(shù)目
    acc_train = correct_count_train / data.train_mask.sum().item() # epoch訓(xùn)練精度
    
    loss.backward()
    optimizer.step()
    
    if epoch % 20 == 0:
        print("【EPOCH: 】%s" % str(epoch + 1))
        print('訓(xùn)練損失為：{:.4f}'.format(loss.item()), '訓(xùn)練精度為：{:.4f}'.format(acc_train))

print('【Finished Training！】')

# 模型驗(yàn)證
model.eval()
pred = model(data)

# 訓(xùn)練集（使用了掩碼）
correct_count_train = pred.argmax(axis=1)[data.train_mask].eq(data.y[data.train_mask]).sum().item()
acc_train = correct_count_train / data.train_mask.sum().item()
loss_train = loss_function(pred[data.train_mask], data.y[data.train_mask]).item()

# 測(cè)試集
correct_count_test = pred.argmax(axis=1)[data.test_mask].eq(data.y[data.test_mask]).sum().item()
acc_test = correct_count_test / data.test_mask.sum().item()
loss_test = loss_function(pred[data.test_mask], data.y[data.test_mask]).item()

print('Train Accuracy: {:.4f}'.format(acc_train), 'Train Loss: {:.4f}'.format(loss_train))
print('Test  Accuracy: {:.4f}'.format(acc_test), 'Test  Loss: {:.4f}'.format(loss_test))

總結(jié)

到此這篇關(guān)于使用Pytorch+PyG實(shí)現(xiàn)MLP的文章就介紹到這了,更多相關(guān)Pytorch+PyG實(shí)現(xiàn)MLP內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: