Python實現(xiàn)樸素貝葉斯的學(xué)習(xí)與分類過程解析
概念簡介:
樸素貝葉斯基于貝葉斯定理,它假設(shè)輸入隨機(jī)變量的特征值是條件獨立的,故稱之為“樸素”。簡單介紹貝葉斯定理:

乍看起來似乎是要求一個概率,還要先得到額外三個概率,有用么?其實這個簡單的公式非常貼切人類推理的邏輯,即通過可以觀測的數(shù)據(jù),推測不可觀測的數(shù)據(jù)。舉個例子,也許你在辦公室內(nèi)不知道外面天氣是晴天雨天,但是你觀測到有同事帶了雨傘,那么可以推斷外面八成在下雨。
若X 是要輸入的隨機(jī)變量,則Y 是要輸出的目標(biāo)類別。對X 進(jìn)行分類,即使求的使P(Y|X) 最大的Y值。若X 為n 維特征變量 X = {A1, A2, …..An} ,若輸出類別集合為Y = {C1, C2, …. Cm} 。
X 所屬最有可能類別 y = argmax P(Y|X), 進(jìn)行如下推導(dǎo):

樸素貝葉斯的學(xué)習(xí)
有公式可知,欲求分類結(jié)果,須知如下變量:
各個類別的條件概率,

輸入隨機(jī)變量的特質(zhì)值的條件概率

示例代碼:
import copy
class native_bayes_t:
def __init__(self, character_vec_, class_vec_):
"""
構(gòu)造的時候需要傳入特征向量的值,以數(shù)組方式傳入
參數(shù)1 character_vec_ 格式為 [("character_name",["","",""])]
參數(shù)2 為包含所有類別的數(shù)組 格式為["class_X", "class_Y"]
"""
self.class_set = {}
# 記錄該類別下各個特征值的條件概率
character_condition_per = {}
for character_name in character_vec_:
character_condition_per[character_name[0]] = {}
for character_value in character_name[1]:
character_condition_per[character_name[0]][character_value] = {
'num' : 0, # 記錄該類別下該特征值在訓(xùn)練樣本中的數(shù)量,
'condition_per' : 0.0 # 記錄該類別下各個特征值的條件概率
}
for class_name in class_vec:
self.class_set[class_name] = {
'num' : 0, # 記錄該類別在訓(xùn)練樣本中的數(shù)量,
'class_per' : 0.0, # 記錄該類別在訓(xùn)練樣本中的先驗概率,
'character_condition_per' : copy.deepcopy(character_condition_per),
}
#print("init", character_vec_, self.class_set) #for debug
def learn(self, sample_):
"""
learn 參數(shù)為訓(xùn)練的樣本,格式為
[
{
'character' : {'character_A':'A1'}, #特征向量
'class_name' : 'class_X' #類別名稱
}
]
"""
for each_sample in sample:
character_vec = each_sample['character']
class_name = each_sample['class_name']
data_for_class = self.class_set[class_name]
data_for_class['num'] += 1
# 各個特質(zhì)值數(shù)量加1
for character_name in character_vec:
character_value = character_vec[character_name]
data_for_character = data_for_class['character_condition_per'][character_name][character_value]
data_for_character['num'] += 1
# 數(shù)量計算完畢, 計算最終的概率值
sample_num = len(sample)
for each_sample in sample:
character_vec = each_sample['character']
class_name = each_sample['class_name']
data_for_class = self.class_set[class_name]
# 計算類別的先驗概率
data_for_class['class_per'] = float(data_for_class['num']) / sample_num
# 各個特質(zhì)值的條件概率
for character_name in character_vec:
character_value = character_vec[character_name]
data_for_character = data_for_class['character_condition_per'][character_name][character_value]
data_for_character['condition_per'] = float(data_for_character['num']) / data_for_class['num']
from pprint import pprint
pprint(self.class_set) #for debug
def classify(self, input_):
"""
對輸入進(jìn)行分類,輸入input的格式為
{
"character_A":"A1",
"character_B":"B3",
}
"""
best_class = ''
max_per = 0.0
for class_name in self.class_set:
class_data = self.class_set[class_name]
per = class_data['class_per']
# 計算各個特征值條件概率的乘積
for character_name in input_:
character_per_data = class_data['character_condition_per'][character_name]
per = per * character_per_data[input_[character_name]]['condition_per']
print(class_name, per)
if per >= max_per:
best_class = class_name
return best_class
character_vec = [("character_A",["A1","A2","A3"]), ("character_B",["B1","B2","B3"])]
class_vec = ["class_X", "class_Y"]
bayes = native_bayes_t(character_vec, class_vec)
sample = [
{
'character' : {'character_A':'A1', 'character_B':'B1'}, #特征向量
'class_name' : 'class_X' #類別名稱
},
{
'character' : {'character_A':'A3', 'character_B':'B1'}, #特征向量
'class_name' : 'class_X' #類別名稱
},
{
'character' : {'character_A':'A3', 'character_B':'B3'}, #特征向量
'class_name' : 'class_X' #類別名稱
},
{
'character' : {'character_A':'A2', 'character_B':'B2'}, #特征向量
'class_name' : 'class_X' #類別名稱
},
{
'character' : {'character_A':'A2', 'character_B':'B2'}, #特征向量
'class_name' : 'class_Y' #類別名稱
},
{
'character' : {'character_A':'A3', 'character_B':'B1'}, #特征向量
'class_name' : 'class_Y' #類別名稱
},
{
'character' : {'character_A':'A1', 'character_B':'B3'}, #特征向量
'class_name' : 'class_Y' #類別名稱
},
{
'character' : {'character_A':'A1', 'character_B':'B3'}, #特征向量
'class_name' : 'class_Y' #類別名稱
},
]
input_data ={
"character_A":"A1",
"character_B":"B3",
}
bayes.learn(sample)
print(bayes.classify(input_data))
總結(jié):
樸素貝葉斯分類實現(xiàn)簡單,預(yù)測的效率較高
樸素貝葉斯成立的假設(shè)是個特征向量各個屬性條件獨立,建模的時候需要特別注意
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
基于pytorch實現(xiàn)運(yùn)動鞋品牌識別功能
這篇文章主要給大家介紹了關(guān)于如何基于pytorch實現(xiàn)運(yùn)動鞋品牌識別功能,文中通過圖文以及實例代碼介紹的非常詳細(xì),對大家學(xué)習(xí)或者使用PyTorch具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2024-02-02
Python不改變Excel單元格樣式方式—xls和xlsx兩種格式
這篇文章主要介紹了Python不改變Excel單元格樣式方式—xls和xlsx兩種格式,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2023-06-06
淺談flask中的before_request與after_request
這篇文章主要介紹了淺談flask中的before_request與after_request,小編覺得還是挺不錯的,具有一定借鑒價值,需要的朋友可以參考下2018-01-01
python實現(xiàn)Android與windows局域網(wǎng)文件夾同步
這篇文章主要給大家詳細(xì)介紹了python實現(xiàn)Android與windows局域網(wǎng)文件夾同步,文中有詳細(xì)的代碼示例和圖文介紹,具有一定的參考價值,需要的朋友可以參考下2023-09-09

