Pytorch中accuracy和loss的計算知識點(diǎn)總結(jié)
更新時間：2019年09月10日 15:43:33 作者：嶙羽
在本片文章里小編給大家整理的是關(guān)于Pytorch中accuracy和loss的計算相關(guān)知識點(diǎn)內(nèi)容，有需要的朋友們可以學(xué)習(xí)下。
這幾天關(guān)于accuracy和loss的計算有一些疑惑，原來是自己還沒有弄清楚。
給出實例
def train(train_loader, model, criteon, optimizer, epoch):
train_loss = 0
train_acc = 0
num_correct= 0
for step, (x,y) in enumerate(train_loader):
# x: [b, 3, 224, 224], y: [b]
x, y = x.to(device), y.to(device)
model.train()
logits = model(x)
loss = criteon(logits, y)
optimizer.zero_grad()
loss.backward()
optimizer.step()
train_loss += float(loss.item())
train_losses.append(train_loss)
pred = logits.argmax(dim=1)
num_correct += torch.eq(pred, y).sum().float().item()
logger.info("Train Epoch: {}\t Loss: {:.6f}\t Acc: {:.6f}".format(epoch,train_loss/len(train_loader),num_correct/len(train_loader.dataset)))
return num_correct/len(train_loader.dataset), train_loss/len(train_loader)
首先這樣一次訓(xùn)練稱為一個epoch，樣本總數(shù)/batchsize是走完一個epoch所需的“步數(shù)”，相對應(yīng)的，len(train_loader.dataset)也就是樣本總數(shù)，len(train_loader)就是這個步數(shù)。
那么，accuracy的計算也就是在整個train_loader的for循環(huán)中（步數(shù)），把每個mini_batch中判斷正確的個數(shù)累加起來，然后除以樣本總數(shù)就行了；
而loss的計算有講究了，首先在這里我們是計算交叉熵，關(guān)于交叉熵，也就是涉及到兩個值，一個是模型給出的logits，也就是10個類，每個類的概率分布，另一個是樣本自身的
label，在Pytorch中，只要把這兩個值輸進(jìn)去就能計算交叉熵，用的方法是nn.CrossEntropyLoss，這個方法其實是計算了一個minibatch的均值了，因此累加以后需要除以的步數(shù)，也就是
minibatch的個數(shù)，而不是像accuracy那樣是樣本個數(shù)，這一點(diǎn)非常重要。
以上就是本次介紹的全部知識點(diǎn)內(nèi)容，感謝大家對腳本之家的支持。
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了如何通過Python語言實現(xiàn)視頻分幀的功能，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以跟隨小編一起嘗試一下2023-03-03
這篇文章主要介紹了Python 26進(jìn)制計算實現(xiàn)方法,涉及Python字符串與數(shù)值計算的相關(guān)操作技巧,需要的朋友可以參考下2015-05-05
這篇文章主要介紹了python圖像處理入門，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-04-04
這篇文章主要介紹了python關(guān)于逆序輸出留空格的方法,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-02-02
這篇文章主要介紹了PyCharm 2020.2 安裝詳細(xì)教程,本文通過圖文并茂的形式給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-08-08
在TensorFlow中實現(xiàn)矩陣維度擴(kuò)展
這篇文章主要介紹了在TensorFlow中實現(xiàn)矩陣維度擴(kuò)展方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05
Python遠(yuǎn)程開發(fā)環(huán)境部署與調(diào)試過程圖解
這篇文章主要介紹了Python遠(yuǎn)程開發(fā)環(huán)境部署與調(diào)試過程圖解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-12-12
本文主要介紹了python讀取測試數(shù)據(jù)的多種方式，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-08-08
常常會從網(wǎng)絡(luò)上下載一些帶密碼的壓縮包,想要獲取里面的內(nèi)容,往往就要給提供商支付一些費(fèi)用.想要白嫖其中的內(nèi)容,常見的做法是百度搜索一些壓縮包密碼破解軟件,但后果相信體驗過的人都知道.本文詳細(xì)介紹了怎么破解壓縮包,需要的朋友可以參考下2021-05-05
在本篇文章里小編給大家整理的是關(guān)于python文件操作的簡單方法知識點(diǎn)，有需要的朋友們可以學(xué)習(xí)下。2019-11-11