python實(shí)現(xiàn)感知器

更新時(shí)間：2021年10月11日 16:43:59 作者：momaojia

這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)感知器的相關(guān)資料，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下

上篇博客轉(zhuǎn)載了關(guān)于感知器的用法，遂這篇做個(gè)大概總結(jié)，并實(shí)現(xiàn)一個(gè)簡單的感知器，也為了加深自己的理解。

感知器是最簡單的神經(jīng)網(wǎng)絡(luò)，只有一層。感知器是模擬生物神經(jīng)元行為的機(jī)器。感知器的模型如下：

給定一個(gè)n維的輸入，其中w和b是參數(shù)，w為權(quán)重,每一個(gè)輸入對應(yīng)一個(gè)權(quán)值，b為偏置項(xiàng)，需要從數(shù)據(jù)中訓(xùn)練得到。

激活函數(shù) 感知器的激活函數(shù)可以有很多選擇，比如我們可以選擇下面這個(gè)階躍函數(shù)f來作為激活函數(shù)：

輸出為：

事實(shí)上感知器可以擬合任何線性函數(shù)，任何線性分類或線性回歸的問題都可以用感知器來解決。但是感知器不能實(shí)現(xiàn)異或運(yùn)算，當(dāng)然所有的線性分類器都不可能實(shí)現(xiàn)異或操作。

所謂異或操作：

二維分布圖為:

對于上圖，我們找不到一條直線可以將0,1類分開。對于and操作，感知器可以實(shí)現(xiàn)，我們可以找到一條直線把其分為兩部分。。

對于and操作：

對應(yīng)的二維分布圖為：

感知器的訓(xùn)練

首先將權(quán)重w和偏置b隨機(jī)初始化為一個(gè)很小的數(shù)，然后在訓(xùn)練中不斷更新w和b的值。

1.將權(quán)重初始化為 0 或一個(gè)很小的隨機(jī)數(shù)
2.對于每個(gè)訓(xùn)練樣本 x(i) 執(zhí)行下列步驟：

計(jì)算輸出值 y^.

更新權(quán)重

其中

下面用感知器實(shí)現(xiàn)and操作，具體代碼如下：

# -*- coding: utf-8 -*- 
# python 3.4 
import numpy as np 
from random import choice 
from sklearn import cross_validation 
from sklearn.linear_model import LogisticRegression 
''''' 
1.將權(quán)重初始化為 0 或一個(gè)很小的隨機(jī)數(shù) 
2.對于每個(gè)訓(xùn)練樣本 x(i) 執(zhí)行下列步驟： 
 計(jì)算輸出值 y^. 
 更新權(quán)重 
''' 
def load_data(): 
 input_data=[[1,1], [0,0], [1,0], [0,1]] 
 labels=[1,0,0,0] 
 return input_data,labels 
 
  
def train_pre(input_data,y,iteration,rate): 
 #=========================== 
 ''''' 
 參數(shù)： 
 input_data:輸入數(shù)據(jù) 
 y：標(biāo)簽列表 
 iteration：訓(xùn)練輪數(shù) 
 rate:學(xué)習(xí)率 
  
 ''' 
 #============================ 
 unit_step = lambda x: 0 if x < 0 else 1 
 w=np.random.rand(len(input_data[0]))#隨機(jī)生成[0,1)之間,作為初始化w 
 bias=0.0#偏置 
  
  
 for i in range(iteration): 
  samples= zip(input_data,y) 
  for (input_i,label) in samples:#對每一組樣本 
   #計(jì)算f(w*xi+b),此時(shí)x有兩個(gè) 
   result=input_i*w+bias 
   result=float(sum(result)) 
   y_pred=float(unit_step(result))#計(jì)算輸出值 y^ 
   w=w+rate*(label-y_pred)*np.array(input_i)#更新權(quán)重 
 
   bias=rate*(label-y_pred)#更新bias 
 return w,bias   
 
  
def predict(input_i,w,b): 
 unit_step = lambda x: 0 if x < 0 else 1#定義激活函數(shù) 
 result=result=result=input_i*w+b 
 result=sum(result) 
 y_pred=float(unit_step(result)) 
 print(y_pred) 
  
if __name__=='__main__': 
 input_data,y=load_data() 
 w,b=train_pre(input_data,y,20,0.01) 
 predict([1,1],w,b)

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章: