pytorch多GPU并行運算的實現(xiàn)
更新時間：2019年09月27日 11:45:14 作者：FelixCoder
這篇文章主要介紹了pytorch多GPU并行運算的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
Pytorch多GPU運行
設(shè)置可用GPU環(huán)境變量。例如，使用0號和1號GPU'
os.environ["CUDA_VISIBLE_DEVICES"] = '0,1'
設(shè)置模型參數(shù)放置到多個GPU上。在pytorch1.0之后的版本中，多GPU運行變得十分方便，先將模型的參數(shù)設(shè)置并行
if torch.cuda.device_count() > 1:
print("Let's use", torch.cuda.device_count(), "GPUs!")
model = nn.DataParallel(model)
將模型參數(shù)設(shè)置使用GPU運行
if torch.cuda.is_available():
model.cuda()
踩坑記錄
在訓練中，需要使用驗證集/測試集對目前的準確率進行測試，驗證集/測試集的加載也會占用部分顯存，所以在訓練開始時，不要將所有顯存都幾乎占滿，稍微留一些顯存給訓練過程中的測試環(huán)節(jié)
pytorch并行后，假設(shè)batchsize設(shè)置為64，表示每張并行使用的GPU都使用batchsize=64來計算（單張卡使用時，使用batchsize=64比較合適時，多張卡并行時，batchsize仍為64比較合適，而不是64*并行卡數(shù)）。
參考
https://www.zhihu.com/question/67726969
以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
Python實現(xiàn)讀取郵箱中的郵件功能示例【含文本及附件】
這篇文章主要介紹了Python實現(xiàn)讀取郵箱中的郵件功能,可讀取郵件文本及附件的功能,涉及Python針對郵件的獲取、分析、保存等相關(guān)操作技巧,需要的朋友可以參考下2017-08-08
Python基本數(shù)據(jù)結(jié)構(gòu)之字典類型dict用法分析
這篇文章主要介紹了Python基本數(shù)據(jù)結(jié)構(gòu)之字典類型dict用法,結(jié)合實例形式分析了Python字典類型dict概念、原理、定義及基本使用技巧,需要的朋友可以參考下2019-06-06
今天小編就為大家分享一篇python 實現(xiàn)GUI(圖形用戶界面)編程詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-08-08
今天小編就為大家分享一篇對python 匹配字符串開頭和結(jié)尾的方法詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-10-10
這篇文章主要介紹了Python中的變量、引用、拷貝和作用域的相關(guān)問題,是Python學習過程當中必會的基礎(chǔ)知識,需要的朋友可以參考下2015-04-04
Python實現(xiàn)讀取大量Excel文件并跨文件批量計算平均值
這篇文章主要為大家詳細介紹了如何利用Python語言，實現(xiàn)對多個不同Excel文件進行數(shù)據(jù)讀取與平均值計算的方法，感興趣的可以了解一下2023-02-02
關(guān)于numpy.polyfit()與Stats.linregress()方法最小二乘近似擬合斜率對比
這篇文章主要介紹了關(guān)于numpy.polyfit()與Stats.linregress()方法最小二乘近似擬合斜率對比,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-04-04
這篇文章主要為大家介紹了Django ContentType組件，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2021-12-12
質(zhì)心跟蹤算法不是正統(tǒng)的目標跟蹤，而是在多目標跟蹤中結(jié)合目標檢測算法不同幀之間的相同目標做一個link。本文將利用OpenCV實現(xiàn)質(zhì)心跟蹤算法，感興趣的可以試一試2022-01-01
這篇文章主要介紹了python實現(xiàn)數(shù)組平移K位問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-02-02