關(guān)于pytorch多GPU訓(xùn)練實(shí)例與性能對(duì)比分析
以下實(shí)驗(yàn)是我在百度公司實(shí)習(xí)的時(shí)候做的，記錄下來留個(gè)小經(jīng)驗(yàn)。
多GPU訓(xùn)練
cifar10_97.23 使用 run.sh 文件開始訓(xùn)練
cifar10_97.50 使用 run.4GPU.sh 開始訓(xùn)練
在集群中改變GPU調(diào)用個(gè)數(shù)修改 run.sh 文件
nohup srun --job-name=cf23 $pt --gres=gpu:2 -n1 bash cluster_run.sh $cmd 2>&1 1>>log.cf50_2GPU &
修改 –gres=gpu:2 即可
Python 文件代碼修改
parser.add_argument('--batch_size', type=int, default=96*2, help='batch size')
修改對(duì)應(yīng) batch size 大小，保證每塊GPU獲得等量的訓(xùn)練數(shù)據(jù)，因?yàn)閎atch_size的改變會(huì)影響訓(xùn)練精度
最容易實(shí)現(xiàn)的單GPU訓(xùn)練改為多GPU訓(xùn)練代碼
單GPU：logits, logits_aux = model(input)
多GPU：
if torch.cuda.device_count()>1:#判斷是否能夠有大于一的GPU資源可以調(diào)用 logits, logits_aux =nn.parallel.data_parallel(model,input) else: logits, logits_aux = model(input)
缺點(diǎn)：不是性能最好的實(shí)現(xiàn)方式
優(yōu)點(diǎn)：代碼嵌入適應(yīng)性強(qiáng)，不容易報(bào)錯(cuò)
性能分析
該圖為1到8GPU訓(xùn)練cifar10——97.23網(wǎng)絡(luò)的實(shí)驗(yàn)對(duì)比
可以看到單核訓(xùn)練600輪需要53小時(shí)、雙核訓(xùn)練600輪需要26小時(shí)、四核16、六核14、八核13。
在可運(yùn)行7小時(shí)的GPU上的對(duì)比實(shí)驗(yàn)：單核跑完83輪、雙核跑完163輪、四核跑完266輪
結(jié)論：性價(jià)比較高的是使用4～6核GPU進(jìn)行訓(xùn)練，但是多GPU訓(xùn)練對(duì)于單GPU訓(xùn)練有所差異，訓(xùn)練的準(zhǔn)確率提升會(huì)有所波動(dòng)，目前發(fā)現(xiàn)的是負(fù)面的影響。
以上這篇關(guān)于pytorch多GPU訓(xùn)練實(shí)例與性能對(duì)比分析就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
利用Pytorch實(shí)現(xiàn)獲取特征圖的方法詳解
這篇文章主要為大家詳細(xì)介紹了如何利用Pytorch實(shí)現(xiàn)獲取特征圖，包括提取單個(gè)特征圖和提取多個(gè)特征圖，文中的示例代碼講解詳細(xì)，需要的可以參考一下2022-10-10
python實(shí)現(xiàn)決策樹ID3算法的示例代碼
這篇文章主要介紹了python實(shí)現(xiàn)決策樹ID3算法的示例代碼，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-05-05
Keras:Unet網(wǎng)絡(luò)實(shí)現(xiàn)多類語義分割方式
本文主要利用U-Net網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)了多類的語義分割，并展示了部分測試效果，希望對(duì)你有用！2020-06-06
python利用拉鏈法實(shí)現(xiàn)字典方法示例
這篇文章主要介紹了python利用拉鏈法實(shí)現(xiàn)字典的方法，文中給出了詳細(xì)的示例代碼，相信對(duì)大家具有一定的參考價(jià)值，需要的朋友可以們下面來一起看看吧。2017-03-03
使用Matplotlib創(chuàng)建基本圖表的詳細(xì)指南
Matplotlib 是一個(gè)功能強(qiáng)大的 Python 庫,用于創(chuàng)建各種類型的圖表和可視化,在本文中,我們將提供一個(gè)完整的指南,介紹如何使用 Matplotlib 創(chuàng)建基本的圖表,包括折線圖、散點(diǎn)圖、柱狀圖和餅圖,感興趣的小伙伴跟著小編一起來看看吧2024-05-05
Django 配置多站點(diǎn)多域名的實(shí)現(xiàn)步驟
這篇文章主要介紹了Django 配置多站點(diǎn)多域名的實(shí)現(xiàn)步驟,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-05-05
這篇文章主要給大家分享Python?的24個(gè)編程超好用技巧，下面分享一些python技巧和?tips，這些技巧將根據(jù)其首字母按?A-Z?的順序進(jìn)行展示，具有一定的參考價(jià)值，需要的小伙伴可以參考一下2022-02-02
Python實(shí)現(xiàn)的多線程http壓力測試代碼
這篇文章主要介紹了Python實(shí)現(xiàn)的多線程http壓力測試代碼,結(jié)合實(shí)例形式分析了Python多線程操作的相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下2017-02-02
基于python計(jì)算滾動(dòng)方差(標(biāo)準(zhǔn)差)talib和pd.rolling函數(shù)差異詳解
這篇文章主要介紹了基于python計(jì)算滾動(dòng)方差(標(biāo)準(zhǔn)差)talib和pd.rolling函數(shù)差異詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-06-06
淺談Keras參數(shù) input_shape、input_dim和input_length用法
這篇文章主要介紹了淺談Keras參數(shù) input_shape、input_dim和input_length用法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-06-06