快捷導(dǎo)航

pytorch使用指定GPU訓(xùn)練的實(shí)例

更新時(shí)間：2019年08月19日 15:21:52 作者：ax7399

今天小編就為大家分享一篇pytorch使用指定GPU訓(xùn)練的實(shí)例，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧

本文適合多GPU的機(jī)器，并且每個(gè)用戶需要單獨(dú)使用GPU訓(xùn)練。

雖然pytorch提供了指定gpu的幾種方式，但是使用不當(dāng)?shù)脑挄?huì)遇到out of memory的問題，主要是因?yàn)閜ytorch會(huì)在第0塊gpu上初始化，并且會(huì)占用一定空間的顯存。這種情況下，經(jīng)常會(huì)出現(xiàn)指定的gpu明明是空閑的，但是因?yàn)榈?塊gpu被占滿而無法運(yùn)行，一直報(bào)out of memory錯(cuò)誤。

解決方案如下：

指定環(huán)境變量，屏蔽第0塊gpu

CUDA_VISIBLE_DEVICES = 1 main.py

這句話表示只有第1塊gpu可見，其他gpu不可用，此時(shí)要注意第1塊gpu已經(jīng)變成第0塊，因此代碼里應(yīng)該使用編號(hào)0來指定gpu。如果依然使用cuda:1會(huì)報(bào)invalid device ordinal。

當(dāng)然也可以在代碼里使用os模塊達(dá)到同樣效果：

import os

#多塊使用逗號(hào)隔開
os.environ['CUDA_VISIBLE_DEVICES'] = '1'

使用torch.cuda.device
with torch.cuda.device(1):
 ...

注意這種情況下gpu編號(hào)也會(huì)改變

關(guān)于這個(gè)問題的討論，感興趣的也可以去這里查看cuda out of memory error when GPU0 memory is fully utilized

以上這篇pytorch使用指定GPU訓(xùn)練的實(shí)例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

解決遇到:PytorchStreamReader failed reading zip&n
本文針對"PytorchStreamReaderfailedreadingziparchive:failedfindingcentral"錯(cuò)誤提出解決方案,包括檢查文件完整性、文件路徑,嘗試更新PyTorch版本,檢查壓縮文件格式,代碼問題,或?qū)で蠹夹g(shù)支持等,希望這些經(jīng)驗(yàn)?zāi)芙o遇到同樣問題的人一個(gè)參考
2024-09-09
Django使用Celery加redis執(zhí)行異步任務(wù)的實(shí)例內(nèi)容
在本篇文章里小編給大家整理的是關(guān)于Django使用Celery加redis執(zhí)行異步任務(wù)，需要的朋友們可以學(xué)習(xí)下。
2020-02-02
Python中用pyinstaller打包時(shí)的圖標(biāo)問題及解決方法
這篇文章主要介紹了python中用pyinstaller打包時(shí)的圖標(biāo)問題及解決方法，本文從兩方面給大家分析原因所在，通過截圖實(shí)例代碼給大家介紹的非常詳細(xì),需要的朋友可以參考下
2020-02-02
Pandas提取數(shù)據(jù)的三種方式
本文主要介紹了Pandas提取數(shù)據(jù)的三種方式，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2023-01-01
python疲勞駕駛困倦低頭檢測功能的實(shí)現(xiàn)
這篇文章主要介紹了python疲勞駕駛困倦低頭檢測,該系統(tǒng)可以檢測一個(gè)人在開車時(shí)是否困倦，及時(shí)提醒，做到安全隱患排查，對實(shí)現(xiàn)代碼感興趣的朋友一起看看吧
2022-04-04
詳解DBSCAN算法原理及其Python實(shí)現(xiàn)
DBSCAN,即Density-Based Spatial Clustering of Applications with Noise,基于密度的噪聲應(yīng)用空間聚類,本文將詳細(xì)介紹DBSCAN算法的原理及其Python實(shí)現(xiàn),需要的可以參考下
2023-12-12
python實(shí)現(xiàn)類的靜態(tài)變量用法實(shí)例
這篇文章主要介紹了python實(shí)現(xiàn)類的靜態(tài)變量用法,實(shí)例分析了Python中基于數(shù)組實(shí)現(xiàn)靜態(tài)隊(duì)列的相關(guān)使用技巧,需要的朋友可以參考下
2015-05-05
python實(shí)現(xiàn)京東秒殺功能
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)京東秒殺功能，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2018-07-07
Python如何實(shí)現(xiàn)小程序無限求和平均
這篇文章主要介紹了python如何實(shí)現(xiàn)小程序無限求和平均,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-02-02
Python中的hashlib模塊解析
這篇文章主要介紹了Python中的hashlib模塊解析,hashlib是一個(gè)提供字符加密功能的模塊,包含MD5和SHA的加密算法,具體支持md5,sha1, sha224, sha256, sha384, sha512等算法, 該模塊在用戶登錄認(rèn)證方面應(yīng)用廣泛,對文本加密也很常見,需要的朋友可以參考下
2023-09-09