Pytorch GPU運算過程中會出現(xiàn)：“cuda runtime error(2): out of memory”這樣的錯誤。通常，這種錯誤是由于在循環(huán)中使用全局變量當做累加器，且累加梯度信息的緣故，用官方的說法就是："accumulate history across your training loop"。在默認情況下，開啟梯度計算的Tensor變量是會在GPU保持他的歷史數(shù)據(jù)的，所以在編程或者調(diào)試過程中應(yīng)該盡力避免在循環(huán)中累加梯度信息。

下面舉個栗子：

上代碼：

total_loss=0
for i in range(10000):
  optimizer.zero_grad()
  output=model(input)
  loss=criterion(output)
  loss.backward()
  optimizer.step()
  total_loss+=loss
  #這里total_loss是跨越循環(huán)的變量，起著累加的作用，
  #loss變量是帶有梯度的tensor，會保持歷史梯度信息，在循環(huán)過程中會不斷積累梯度信息到tota_loss，占用內(nèi)存

以上例子的修正方法是在循環(huán)中的最后一句修改為：total_loss+=float(loss)，利用類型變換解除梯度信息，這樣，多次累加不會累加梯度信息。

局部變量逗留導致內(nèi)存泄露

局部變量通常在變量作用域之外會被Python自動銷毀，在作用域之內(nèi)，不需要的臨時變量可以使用del x來銷毀。

在設(shè)計Linear Layers 的時候，盡量讓其規(guī)模小點

對于nn.Linear(m,n)這樣規(guī)模的線性函數(shù)，他的空間規(guī)模為O(mn),除此規(guī)模的空間來容納參數(shù)意外，還需要同樣規(guī)模的空間來存儲梯度，由此很容易造成GPU空間溢出。

相關(guān)的進程管理bash cmd

nvidia-smi監(jiān)控GPU，

watch -n 1 nvidia-smi實時監(jiān)控GPU，

watch -n 1 lscpu實時監(jiān)控CPU，

ps -elf進程查看，

ps -elf | grep python查看Python子進程，

kill -9 [PID]殺死進程PID。

Referance:

Pytorch documentations

以上這篇解決pytorch GPU 計算過程中出現(xiàn)內(nèi)存耗盡的問題就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。