C++實(shí)現(xiàn)簡(jiǎn)單BP神經(jīng)網(wǎng)絡(luò)
更新時(shí)間：2020年05月25日 14:33:20 作者：Anders221
這篇文章主要為大家詳細(xì)介紹了C++實(shí)現(xiàn)簡(jiǎn)單BP神經(jīng)網(wǎng)絡(luò)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
本文實(shí)例為大家分享了C++實(shí)現(xiàn)簡(jiǎn)單BP神經(jīng)網(wǎng)絡(luò)的具體代碼，供大家參考，具體內(nèi)容如下
實(shí)現(xiàn)了一個(gè)簡(jiǎn)單的BP神經(jīng)網(wǎng)絡(luò)
使用EasyX圖形化顯示訓(xùn)練過(guò)程和訓(xùn)練結(jié)果
使用了25個(gè)樣本，一共訓(xùn)練了1萬(wàn)次。
該神經(jīng)網(wǎng)絡(luò)有兩個(gè)輸入，一個(gè)輸出端
下圖是訓(xùn)練效果，data是訓(xùn)練的輸入數(shù)據(jù)，temp代表所在層的輸出，target是訓(xùn)練目標(biāo)，右邊的大圖是BP神經(jīng)網(wǎng)絡(luò)的測(cè)試結(jié)果。
以下是詳細(xì)的代碼實(shí)現(xiàn)，主要還是基本的矩陣運(yùn)算。
#include <stdio.h>
#include <stdlib.h>
#include <graphics.h>
#include <time.h>
#include <math.h>
#define uint unsigned short
#define real double
#define threshold (real)(rand() % 99998 + 1) / 100000
// 神經(jīng)網(wǎng)絡(luò)的層
class layer{
private:
char name[20];
uint row, col;
uint x, y;
real **data;
real *bias;
public:
layer(){
strcpy_s(name, "temp");
row = 1;
col = 3;
x = y = 0;
data = new real*[row];
bias = new real[row];
for (uint i = 0; i < row; i++){
data[i] = new real[col];
bias[i] = threshold;
for (uint j = 0; j < col; j++){
data[i][j] = 1;
}
}
}
layer(FILE *fp){
fscanf_s(fp, "%d %d %d %d %s", &row, &col, &x, &y, name);
data = new real*[row];
bias = new real[row];
for (uint i = 0; i < row; i++){
data[i] = new real[col];
bias[i] = threshold;
for (uint j = 0; j < col; j++){
fscanf_s(fp, "%lf", &data[i][j]);
}
}
}
layer(uint row, uint col){
strcpy_s(name, "temp");
this->row = row;
this->col = col;
this->x = 0;
this->y = 0;
this->data = new real*[row];
this->bias = new real[row];
for (uint i = 0; i < row; i++){
data[i] = new real[col];
bias[i] = threshold;
for (uint j = 0; j < col; j++){
data[i][j] = 1.0f;
}
}
}
layer(const layer &a){
strcpy_s(name, a.name);
row = a.row, col = a.col;
x = a.x, y = a.y;
data = new real*[row];
bias = new real[row];
for (uint i = 0; i < row; i++){
data[i] = new real[col];
bias[i] = a.bias[i];
for (uint j = 0; j < col; j++){
data[i][j] = a.data[i][j];
}
}
}
~layer(){
// 刪除原有數(shù)據(jù)
for (uint i = 0; i < row; i++){
delete[]data[i];
}
delete[]data;
}
layer& operator =(const layer &a){
// 刪除原有數(shù)據(jù)
for (uint i = 0; i < row; i++){
delete[]data[i];
}
delete[]data;
delete[]bias;
// 重新分配空間
strcpy_s(name, a.name);
row = a.row, col = a.col;
x = a.x, y = a.y;
data = new real*[row];
bias = new real[row];
for (uint i = 0; i < row; i++){
data[i] = new real[col];
bias[i] = a.bias[i];
for (uint j = 0; j < col; j++){
data[i][j] = a.data[i][j];
}
}
return *this;
}
layer Transpose() const {
layer arr(col, row);
arr.x = x, arr.y = y;
for (uint i = 0; i < row; i++){
for (uint j = 0; j < col; j++){
arr.data[j][i] = data[i][j];
}
}
return arr;
}
layer sigmoid(){
layer arr(col, row);
arr.x = x, arr.y = y;
for (uint i = 0; i < x.row; i++){
for (uint j = 0; j < x.col; j++){
arr.data[i][j] = 1 / (1 + exp(-data[i][j]));// 1/(1+exp(-z))
}
}
return arr;
}
layer operator *(const layer &b){
layer arr(row, col);
arr.x = x, arr.y = y;
for (uint i = 0; i < row; i++){
for (uint j = 0; j < col; j++){
arr.data[i][j] = data[i][j] * b.data[i][j];
}
}
return arr;
}
layer operator *(const int b){
layer arr(row, col);
arr.x = x, arr.y = y;
for (uint i = 0; i < row; i++){
for (uint j = 0; j < col; j++){
arr.data[i][j] = b * data[i][j];
}
}
return arr;
}
layer matmul(const layer &b){
layer arr(row, b.col);
arr.x = x, arr.y = y;
for (uint k = 0; k < b.col; k++){
for (uint i = 0; i < row; i++){
arr.bias[i] = bias[i];
arr.data[i][k] = 0;
for (uint j = 0; j < col; j++){
arr.data[i][k] += data[i][j] * b.data[j][k];
}
}
}
return arr;
}
layer operator -(const layer &b){
layer arr(row, col);
arr.x = x, arr.y = y;
for (uint i = 0; i < row; i++){
for (uint j = 0; j < col; j++){
arr.data[i][j] = data[i][j] - b.data[i][j];
}
}
return arr;
}
layer operator +(const layer &b){
layer arr(row, col);
arr.x = x, arr.y = y;
for (uint i = 0; i < row; i++){
for (uint j = 0; j < col; j++){
arr.data[i][j] = data[i][j] + b.data[i][j];
}
}
return arr;
}
layer neg(){
layer arr(row, col);
arr.x = x, arr.y = y;
for (uint i = 0; i < row; i++){
for (uint j = 0; j < col; j++){
arr.data[i][j] = -data[i][j];
}
}
return arr;
}
bool operator ==(const layer &a){
bool result = true;
for (uint i = 0; i < row; i++){
for (uint j = 0; j < col; j++){
if (abs(data[i][j] - a.data[i][j]) > 10e-6){
result = false;
break;
}
}
}
return result;
}
void randomize(){
for (uint i = 0; i < row; i++){
for (uint j = 0; j < col; j++){
data[i][j] = threshold;
}
bias[i] = 0.3;
}
}
void print(){
outtextxy(x, y - 20, name);
for (uint i = 0; i < row; i++){
for (uint j = 0; j < col; j++){
COLORREF color = HSVtoRGB(360 * data[i][j], 1, 1);
putpixel(x + i, y + j, color);
}
}
}
void save(FILE *fp){
fprintf_s(fp, "%d %d %d %d %s\n", row, col, x, y, name);
for (uint i = 0; i < row; i++){
for (uint j = 0; j < col; j++){
fprintf_s(fp, "%lf ", data[i][j]);
}
fprintf_s(fp, "\n");
}
}
friend class network;
friend layer operator *(const double a, const layer &b);
};
layer operator *(const double a, const layer &b){
layer arr(b.row, b.col);
arr.x = b.x, arr.y = b.y;
for (uint i = 0; i < arr.row; i++){
for (uint j = 0; j < arr.col; j++){
arr.data[i][j] = a * b.data[i][j];
}
}
return arr;
}
// 神經(jīng)網(wǎng)絡(luò)
class network{
int iter;
double learn;
layer arr[3];
layer data, target, test;
layer& unit(layer &x){
for (uint i = 0; i < x.row; i++){
for (uint j = 0; j < x.col; j++){
x.data[i][j] = i == j ? 1.0 : 0.0;
}
}
return x;
}
layer grad_sigmoid(layer &x){
layer e(x.row, x.col);
e = x*(e - x);
return e;
}
public:
network(FILE *fp){
fscanf_s(fp, "%d %lf", &iter, &learn);
// 輸入數(shù)據(jù)
data = layer(fp);
for (uint i = 0; i < 3; i++){
arr[i] = layer(fp);
//arr[i].randomize();
}
target = layer(fp);
// 測(cè)試數(shù)據(jù)
test = layer(2, 40000);
for (uint i = 0; i < test.col; i++){
test.data[0][i] = ((double)i / 200) / 200.0f;
test.data[1][i] = (double)(i % 200) / 200.0f;
}
}
void train(){
int i = 0;
char str[20];
data.print();
target.print();
for (i = 0; i < iter; i++){
sprintf_s(str, "Iterate:%d", i);
outtextxy(0, 0, str);
// 正向傳播
layer l0 = data;
layer l1 = arr[0].matmul(l0).sigmoid();
layer l2 = arr[1].matmul(l1).sigmoid();
layer l3 = arr[2].matmul(l2).sigmoid();
// 顯示輸出結(jié)果
l1.print();
l2.print();
l3.print();
if (l3 == target){
break;
}
// 反向傳播
layer l3_delta = (l3 - target ) * grad_sigmoid(l3);
layer l2_delta = arr[2].Transpose().matmul(l3_delta) * grad_sigmoid(l2);
layer l1_delta = arr[1].Transpose().matmul(l2_delta) * grad_sigmoid(l1);
// 梯度下降法
arr[2] = arr[2] - learn * l3_delta.matmul(l2.Transpose());
arr[1] = arr[1] - learn * l2_delta.matmul(l1.Transpose());
arr[0] = arr[0] - learn * l1_delta.matmul(l0.Transpose());
}
sprintf_s(str, "Iterate:%d", i);
outtextxy(0, 0, str);
// 測(cè)試輸出
// selftest();
}
void selftest(){
// 測(cè)試
layer l0 = test;
layer l1 = arr[0].matmul(l0).sigmoid();
layer l2 = arr[1].matmul(l1).sigmoid();
layer l3 = arr[2].matmul(l2).sigmoid();
setlinecolor(WHITE);
// 測(cè)試?yán)?
for (uint j = 0; j < test.col; j++){
COLORREF color = HSVtoRGB(360 * l3.data[0][j], 1, 1);// 輸出顏色
putpixel((int)(test.data[0][j] * 160) + 400, (int)(test.data[1][j] * 160) + 30, color);
}
// 標(biāo)準(zhǔn)例
for (uint j = 0; j < data.col; j++){
COLORREF color = HSVtoRGB(360 * target.data[0][j], 1, 1);// 輸出顏色
setfillcolor(color);
fillcircle((int)(data.data[0][j] * 160) + 400, (int)(data.data[1][j] * 160) + 30, 3);
}
line(400, 30, 400, 230);
line(400, 30, 600, 30);
}
void save(FILE *fp){
fprintf_s(fp, "%d %lf\n", iter, learn);
data.save(fp);
for (uint i = 0; i < 3; i++){
arr[i].save(fp);
}
target.save(fp);
}
};
#include "network.h"
void main(){
FILE file;
FILE *fp = &file;
// 讀取狀態(tài)
fopen_s(&fp, "Text.txt", "r");
network net(fp);
fclose(fp);
initgraph(600, 320);
net.train();
// 保存狀態(tài)
fopen_s(&fp, "Text.txt", "w");
net.save(fp);
fclose(fp);
getchar();
closegraph();
}
上面這段代碼是在2016年初實(shí)現(xiàn)的，非常簡(jiǎn)陋，且不利于擴(kuò)展。時(shí)隔三年，我再次回顧了反向傳播算法，重構(gòu)了上面的代碼。
最近，參考【深度學(xué)習(xí)】一書(shū)對(duì)反向傳播算法的描述，我用C++再次實(shí)現(xiàn)了基于反向傳播算法的神經(jīng)網(wǎng)絡(luò)框架：Github: Neural-Network。該框架支持張量運(yùn)算，如卷積，池化和上采樣運(yùn)算。除了能實(shí)現(xiàn)傳統(tǒng)的stacked網(wǎng)絡(luò)模型，還實(shí)現(xiàn)了基于計(jì)算圖的自動(dòng)求導(dǎo)算法，目前還有些bug。預(yù)計(jì)支持搭建卷積神經(jīng)網(wǎng)絡(luò)，并實(shí)現(xiàn)【深度學(xué)習(xí)】一書(shū)介紹的一些基于梯度的優(yōu)化算法。
歡迎感興趣的同學(xué)在此提出寶貴建議。
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了C++對(duì)象排序的比較，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來(lái)幫助2022-02-02
C++連接mysql數(shù)據(jù)庫(kù)并讀取數(shù)據(jù)的具體步驟
在實(shí)際開(kāi)發(fā)中我們經(jīng)常需要對(duì)數(shù)據(jù)庫(kù)進(jìn)行訪問(wèn),針對(duì)不同類型的數(shù)據(jù)庫(kù)（如MySQL、sqLite、Access、Excel等）,如果采用不同的方法進(jìn)行連接，會(huì)把我們搞崩潰,下面這篇文章主要給大家介紹了關(guān)于C++連接mysql數(shù)據(jù)庫(kù)并讀取數(shù)據(jù)的具體步驟,需要的朋友可以參考下2023-04-04
OpenCV圖像處理之實(shí)現(xiàn)圖像膨脹腐蝕操作
圖像形態(tài)學(xué)操作是指基于形狀的一系列圖像處理操作的合集，主要是基于集合論基礎(chǔ)上的形態(tài)學(xué)數(shù)學(xué)對(duì)圖像進(jìn)行處理。本文將為大家介紹一下如何利用OpenCV實(shí)現(xiàn)其中的腐蝕和膨脹操作，需要的可以參考一下2022-09-09
C語(yǔ)言實(shí)現(xiàn)flappy bird游戲
這篇文章主要為大家詳細(xì)介紹了C語(yǔ)言實(shí)現(xiàn)flappy bird小游戲，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-12-12
今天不整GO語(yǔ)言，我們來(lái)分享一下以前寫的C語(yǔ)言代碼，來(lái)看看互斥鎖、自旋鎖和原子操作的demo，示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值2023-01-01
C++實(shí)現(xiàn)String與UF8互轉(zhuǎn)
這篇文章介紹了C++實(shí)現(xiàn)String與UF8互轉(zhuǎn)的方法，文中通過(guò)示例代碼介紹的非常詳細(xì)。對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2022-05-05
C/C++ break和continue區(qū)別及使用方法
這篇文章主要介紹了C/C++ break和continue區(qū)別及使用方法的相關(guān)資料,需要的朋友可以參考下2017-07-07
C語(yǔ)言冷門知識(shí)之你可能沒(méi)聽(tīng)過(guò)的柔性數(shù)組
柔性數(shù)組(Flexible Array)是引入的一個(gè)新特性，它允許你在定義結(jié)構(gòu)體時(shí)創(chuàng)建一個(gè)空數(shù)組，而這個(gè)數(shù)組的大小可以在程序運(yùn)行的過(guò)程中根據(jù)你的需求進(jìn)行更改特別注意的一點(diǎn)是：這個(gè)空數(shù)組必須聲明為結(jié)構(gòu)體的最后一個(gè)成員，并且還要求這樣的結(jié)構(gòu)體至少包含一個(gè)其他類型的成員2021-10-10
用c語(yǔ)言根據(jù)可變參數(shù)合成字符串的實(shí)現(xiàn)代碼
本篇文章是對(duì)用c語(yǔ)言根據(jù)可變參數(shù)合成字符串的方法進(jìn)行了詳細(xì)的分析介紹，需要的朋友參考下2013-05-05
這篇文章主要為大家詳細(xì)介紹了C++實(shí)現(xiàn)萬(wàn)年歷功能，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-10-10