快捷導(dǎo)航

Pytorch backward報(bào)錯(cuò)2次訪問計(jì)算圖需要retain_graph=True的情況詳解

更新時(shí)間：2024年02月20日 09:47:04 作者：培之

這篇文章主要介紹了Pytorch backward報(bào)錯(cuò)2次訪問計(jì)算圖需要retain_graph=True的情況,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教

backward報(bào)錯(cuò)2次訪問計(jì)算圖需要 retain_graph=True 的一種情況

錯(cuò)誤代碼

錯(cuò)誤的原因在于

y1 = 0.5*x*2-1.2*x
y2 = x**3

沒有放到循環(huán)里面，沒有隨著 x 的優(yōu)化而相應(yīng)變化。

import torch
import numpy as np
import torch.optim as optim

torch.autograd.set_detect_anomaly(True)

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
x = torch.tensor([1.0, 2.0, 3.0,4.5], dtype=torch.float32, requires_grad=True, device=device)


y_GT= torch.tensor([10, -20, -30,45], dtype=torch.float32,  device=device)

print(f'x{x}')


optimizer = optim.Adam([x], lr=1)
y1 = 0.5*x*2-1.2*x
y2 = x**3

for i in range(10):

    print(f'{i}: x{x}')
    optimizer.zero_grad()


    loss = (y1+y2-y_GT).mean()
    loss.backward()
    optimizer.step()
    print(f'{i}: x{x}')

正確代碼

import torch
import numpy as np
import torch.optim as optim

torch.autograd.set_detect_anomaly(True)

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
x = torch.tensor([1.0, 2.0, 3.0,4.5], dtype=torch.float32, requires_grad=True, device=device)


y_GT= torch.tensor([10, -20, -30,45], dtype=torch.float32,  device=device)

print(f'x{x}')


optimizer = optim.Adam([x], lr=1)


for i in range(10):

    print(f'{i}: x{x}')
    optimizer.zero_grad()
    y1 = 0.5*x*2-1.2*x
    y2 = x**3

    loss = (y1+y2-y_GT).mean()
    loss.backward()
    optimizer.step()
    print(f'{i}: x{x}')

總結(jié)

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

使用Python處理PDF文件的實(shí)踐分享
在現(xiàn)代數(shù)字化時(shí)代，PDF（Portable?Document?Format）文件已經(jīng)成為廣泛使用的電子文檔格式，這篇文章主要為分享了Python處理PDF文件的簡介與實(shí)踐，需要的可以參考下
2023-06-06
Python中文件路徑的處理方式總結(jié)
本文詳細(xì)介紹了Python的os和pathlib模塊在文件路徑處理中的應(yīng)用,包括常用函數(shù)和類方法,以及它們之間的對比和實(shí)例演示,旨在幫助開發(fā)者提升文件操作效率和代碼可讀性,需要的朋友可以參考下
2025-03-03
Python基于pyjnius庫實(shí)現(xiàn)訪問java類
這篇文章主要介紹了Python基于pyjnius庫實(shí)現(xiàn)訪問java類,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-07-07
python多進(jìn)程中的內(nèi)存復(fù)制(實(shí)例講解)
下面小編就為大家分享一篇python多進(jìn)程中的內(nèi)存復(fù)制(實(shí)例講解)，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-01-01
使用Python開發(fā)提取word所有表格信息的程序
這篇文章主要為大家詳細(xì)介紹了如何使用Python開發(fā)一個(gè)可以提取word所有表格信息的程序,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以了解下
2025-07-07
python自動化測試之如何解析excel文件
這篇文章主要介紹了python自動化測試之如何解析excel文件，今天我們就把不同模塊處理excel文件的方法做個(gè)總結(jié)，直接做封裝，方便我們以后直接使用，增加工作效率。,需要的朋友可以參考下
2019-06-06
Win10 GPU運(yùn)算環(huán)境搭建(CUDA10.0+Cudnn 7.6.5+pytroch1.2+tensorflow1.
熟悉深度學(xué)習(xí)的人都知道，深度學(xué)習(xí)是需要訓(xùn)練的，本文主要介紹了Win10 GPU運(yùn)算環(huán)境搭建，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2021-09-09
利用Python破解生日悖論問題
生日悖論，就是23個(gè)人在一個(gè)房間，期間必然有兩個(gè)人生日相同的概率為50%，30個(gè)人的話概率是70%，60個(gè)人甚至上升到99%。本文就來用Python語言破解這一問題，感興趣的可以了解一下
2022-12-12
python psutil 模塊概述及使用示例
psutil是一個(gè)跨平臺的Python庫,用于系統(tǒng)監(jiān)控、性能分析和進(jìn)程管理,它提供了豐富的API,可用于獲取系統(tǒng)的CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)等資源的使用情況,以及進(jìn)行進(jìn)程管理,psutil支持Linux、Windows、macOS等主流操作系統(tǒng)
2024-11-11
給Python中的MySQLdb模塊添加超時(shí)功能的教程
這篇文章主要介紹了給Python中的MySQLdb模塊添加超時(shí)功能的教程,timeout功能在服務(wù)器的運(yùn)維當(dāng)中非常有用,需要的朋友可以參考下
2015-05-05