細數nn.BCELoss與nn.CrossEntropyLoss的區(qū)別
更新時間：2020年02月29日 11:37:16 作者：站著刷論文
今天小編就為大家整理了一篇細數nn.BCELoss與nn.CrossEntropyLoss的區(qū)別，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
以前我瀏覽博客的時候記得別人說過，BCELoss與CrossEntropyLoss都是用于分類問題?？梢灾?，BCELoss是Binary CrossEntropyLoss的縮寫，BCELoss CrossEntropyLoss的一個特例，只用于二分類問題，而CrossEntropyLoss可以用于二分類，也可以用于多分類。
不過我重新查閱了一下資料，發(fā)現同樣是處理二分類問題，BCELoss與CrossEntropyLoss是不同的。下面我詳細講一下哪里不同。
1、使用nn.BCELoss需要在該層前面加上Sigmoid函數。
公式如下：
2、使用nn.CrossEntropyLoss會自動加上Sofrmax層。
公式如下：
可以看出，這兩個計算損失的函數使用的激活函數不同，故而最后的計算公式不同。
補充拓展：pytorch的BCELoss和cross entropy
BCELoss:
torch.nn.BCELoss:
Input: (N, *)(N,∗) where *∗ means, any number of additional dimensions Target: (N, *)(N,∗), same shape as the input Output: scalar. If reduction is 'none', then (N, *)(N,∗), same shape as input.
這里的輸入和target 目標必須形狀一致，并且都是浮點數，二分類中一般用sigmoid的把輸出挑出一個數：
>>> m = nn.Sigmoid() >>> loss = nn.BCELoss() >>> input = torch.randn(3, requires_grad=True) >>> target = torch.empty(3).random_(2) >>> output = loss(m(input), target) >>> output.backward()
CrossEntropyLoss:
input(N,C) #n 是batch c是類別 target(N)
輸入和target 形狀是不同的crossEntropy 是自己會做softmax
>>> loss = nn.CrossEntropyLoss() >>> input = torch.randn(3, 5, requires_grad=True) >>> target = torch.empty(3, dtype=torch.long).random_(5) >>> output = loss(input, target) >>> output.backward()
以上這篇細數nn.BCELoss與nn.CrossEntropyLoss的區(qū)別就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
本文主要介紹了Pygame庫200行代碼實現簡易飛機大戰(zhàn)，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-12-12
這篇文章主要介紹了Python利用神經網絡解決非線性回歸問題,結合實例形式詳細分析了Python使用神經網絡解決非線性回歸問題的相關原理與實現技巧,需要的朋友可以參考下2019-07-07
這篇文章主要介紹了Python中快速掌握Data Frame的常用操作,本文通過實例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-03-03
這篇文章主要介紹了Python 裝飾器，帶有參數的裝飾器實例代碼詳解，代碼簡單易懂，非常不錯，具有一定的參考借鑒價值,需要的朋友可以參考下2018-12-12
今天小編就為大家分享一篇對python GUI實現完美進度條的示例詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12
這篇文章主要為大家詳細介紹了Python實現數據庫之間的數據遷移，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-04-04
這篇文章主要介紹了PyQt5結合matplotlib繪圖的實現示例，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-09-09
今天小編就為大家分享一篇Pytorch實現GoogLeNet的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08
這篇文章主要介紹了Python 序列的方法總結的相關資料,需要的朋友可以參考下2016-10-10
Python中按一定的格式取出某字符串中的子字符串，使用struck.unpack是非常高效的。2008-09-09