python編寫softmax函數、交叉熵函數實例
更新時間：2020年06月11日 15:04:58 作者：ChunxueShi
這篇文章主要介紹了python編寫softmax函數、交叉熵函數實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
python代碼如下：
import numpy as np # Write a function that takes as input a list of numbers, and returns # the list of values given by the softmax function. def softmax(L): pass expL = np.exp(L) sumExpL = sum(expL) result = [] for i in expL: result.append(i*1.0/sumExpL) return result
python編寫交叉熵公式：
import numpy as np def cross_entropy(Y, P): Y = np.float_(Y) P = np.float_(P) return -np.sum(Y * np.log(P) + (1 - Y) * np.log(1 - P))
補充知識：分類時，為什么不使用均方誤差而是使用交叉熵作為損失函數
MSE（均方誤差）對于每一個輸出的結果都非?？粗?，而交叉熵只對正確分類的結果看重。
例如：在一個三分類模型中，模型的輸出結果為（a,b,c)，而真實的輸出結果為(1,0,0)，那么MSE與cross-entropy相對應的損失函數的值如下：
MSE：
cross-entropy：
從上述的公式可以看出，交叉熵的損失函數只和分類正確的預測結果有關系，而MSE的損失函數還和錯誤的分類有關系，該分類函數除了讓正確的分類盡量變大，還會讓錯誤的分類變得平均，但實際在分類問題中這個調整是沒有必要的。
但是對于回歸問題來說，這樣的考慮就顯得很重要了。所以，回歸問題熵使用交叉上并不合適。
以上這篇python編寫softmax函數、交叉熵函數實例就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了Pycharm關閉控制臺多余窗口的解決辦法,文中通過圖文結合的方式講解的非常詳細,對大家的學習或工作有一定的幫助,需要的朋友可以參考下2024-12-12
今天小編就為大家分享一篇淺談python中對于json寫入txt文件的編碼問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06
這篇文章主要介紹了Python利用全連接神經網絡求解MNIST問題,結合實例形式詳細分析了單隱藏層神經網絡與多層神經網絡,以及Python全連接神經網絡求解MNIST問題相關操作技巧,需要的朋友可以參考下2020-01-01
什么是捕獲呢？使用小括號指定一個子表達式后，匹配這個子表達式的文本（即匹配的內容）可以在表達式或者其他過程中接著用，下面這篇文章就主要介紹了Python正則表達式中關于捕獲的相關資料，需要的朋友可以參考下。2017-03-03
在日常開發(fā)中，我們經常需要監(jiān)控應用程序的狀態(tài)，及時發(fā)現問題并采取措施解決。而通過郵件發(fā)送報警信息則是一種常見的實現方式。本文就來介紹一下Python實現發(fā)送郵件到自己郵箱的方法2023-04-04
這篇文章主要介紹了Python模塊zipfile原理及使用方法詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-08-08
這篇文章主要介紹了使用NumPy讀取MNIST數據的實現代碼示例，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-11-11
這篇文章主要介紹了Django 解決阿里云部署同步數據庫報錯的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05
這篇文章主要介紹了pytorch查看通道數 維數 尺寸大小方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05
字符串是Pyhon常用的數據類型,我們可以用引號來創(chuàng)建字符創(chuàng)(可以是單引號也可以是雙引號,當然引號必須是英文的),這篇文章主要給大家介紹了關于python字符串的一些常見實用操作,需要的朋友可以參考下2022-04-04