腳本之家服務(wù)器常用軟件

快捷導(dǎo)航

將Pytorch模型從CPU轉(zhuǎn)換成GPU的實(shí)現(xiàn)方法

更新時(shí)間：2019年08月19日 16:53:09 作者：Chance_Chan

今天小編就為大家分享一篇將Pytorch模型從CPU轉(zhuǎn)換成GPU的實(shí)現(xiàn)方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

最近將Pytorch程序遷移到GPU上去的一些工作和思考

環(huán)境：Ubuntu 16.04.3

Python版本：3.5.2

Pytorch版本：0.4.0

0. 序言

大家知道，在深度學(xué)習(xí)中使用GPU來(lái)對(duì)模型進(jìn)行訓(xùn)練是可以通過(guò)并行化其計(jì)算來(lái)提高運(yùn)行效率，這里就不多談了。

最近申請(qǐng)到了實(shí)驗(yàn)室的服務(wù)器來(lái)跑程序，成功將我簡(jiǎn)陋的程序改成了“高大上”GPU版本。

看到網(wǎng)上總體來(lái)說(shuō)少了很多介紹，這里決定將我的一些思考和工作記錄下來(lái)。

1. 如何進(jìn)行遷移

由于我使用的是Pytorch寫的模型，網(wǎng)上給出了一個(gè)非常簡(jiǎn)單的轉(zhuǎn)換方式: 對(duì)模型和相應(yīng)的數(shù)據(jù)進(jìn)行.cuda()處理。通過(guò)這種方式，我們就可以將內(nèi)存中的數(shù)據(jù)復(fù)制到GPU的顯存中去。從而可以通過(guò)GPU來(lái)進(jìn)行運(yùn)算了。

網(wǎng)上說(shuō)的非常簡(jiǎn)單，但是實(shí)際使用過(guò)程中還是遇到了一些疑惑。下面分?jǐn)?shù)據(jù)和模型兩方面的遷移來(lái)進(jìn)行說(shuō)明介紹。

1.1 判定使用GPU

下載了對(duì)應(yīng)的GPU版本的Pytorch之后，要確保GPU是可以進(jìn)行使用的，通過(guò)torch.cuda.is_available()的返回值來(lái)進(jìn)行判斷。返回True則具有能夠使用的GPU。

通過(guò)torch.cuda.device_count()可以獲得能夠使用的GPU數(shù)量。其他就不多贅述了。

常常通過(guò)如下判定來(lái)寫可以跑在GPU和CPU上的通用模型：

if torch.cuda.is_available():
  ten1 = ten1.cuda()
  MyModel = MyModel.cuda()

2. 對(duì)應(yīng)數(shù)據(jù)的遷移

數(shù)據(jù)方面常用的主要是兩種 —— Tensor和Variable。實(shí)際上這兩種類型是同一個(gè)東西，因?yàn)閂ariable實(shí)際上只是一個(gè)容器，這里先視其不同。

2.1 將Tensor遷移到顯存中去

不論是什么類型的Tensor（FloatTensor或者是LongTensor等等），一律直接使用方法.cuda()即可。

例如：

ten1 = torch.FloatTensor(2)
>>>> 6.1101e+24
   4.5659e-41
   [torch.FloatTensor of size 2]

ten1_cuda = ten1.cuda()
>>>>  6.1101e+24
    4.5659e-41
    [torch.cuda.FloatTensor of size 2 (GPU 0)]

其數(shù)據(jù)類型會(huì)由torch.FloatTensor變?yōu)閠orch.cuda.FloatTensor （GPU 0）這樣代表這個(gè)數(shù)據(jù)現(xiàn)在存儲(chǔ)在

GPU 0的顯存中了。

如果要將顯存中的數(shù)據(jù)復(fù)制到內(nèi)存中，則對(duì)cuda數(shù)據(jù)類型使用.cpu()方法即可。

2.2 將Variable遷移到顯存中去

在模型中，我們最常使用的是Variable這個(gè)容器來(lái)裝載使用數(shù)據(jù)。主要是由于Variable可以進(jìn)行反向傳播來(lái)進(jìn)行自動(dòng)求導(dǎo)。

同樣地，要將Variable遷移到顯存中，同樣只需要使用.cuda()即可實(shí)現(xiàn)。

這里有一個(gè)小疑問(wèn)，對(duì)Variable直接使用.cuda和對(duì)Tensor進(jìn)行.cuda然后再放置到Variable中結(jié)果是否一致呢。答案是肯定的。

ten1 = torch.FloatTensor(2)
>>> 6.1101e+24
   4.5659e-41
  [torch.FloatTensor of size 2]

ten1_cuda = ten1.cuda()
>>>> 6.1101e+24
   4.5659e-41
  [torch.cuda.FloatTensor of size 2 (GPU 0)]

V1_cpu = autograd.Variable(ten1)
>>>> Variable containing:
   6.1101e+24
   4.5659e-41
  [torch.FloatTensor of size 2]

V2 = autograd.Variable(ten1_cuda)
>>>> Variable containing:
   6.1101e+24
   4.5659e-41
  [torch.cuda.FloatTensor of size 2 (GPU 0)]

V1 = V1_cpu.cuda()
>>>> Variable containing:
   6.1101e+24
   4.5659e-41
  [torch.cuda.FloatTensor of size 2 (GPU 0)]

最終我們能發(fā)現(xiàn)他們都能夠達(dá)到相同的目的，但是他們完全一樣了嗎？我們使用V1 is V2發(fā)現(xiàn)，結(jié)果是否定的。

對(duì)于V1，我們是直接對(duì)Variable進(jìn)行操作的,這樣子V1的.grad_fn中會(huì)記錄下創(chuàng)建的方式。因此這二者并不是完全相同的。

2.3 數(shù)據(jù)遷移小結(jié)

.cuda()操作默認(rèn)使用GPU 0也就是第一張顯卡來(lái)進(jìn)行操作。當(dāng)我們想要存儲(chǔ)在其他顯卡中時(shí)可以使用.cuda(<顯卡號(hào)數(shù)>)來(lái)將數(shù)據(jù)存儲(chǔ)在指定的顯卡中。還有很多種方式，具體參考官方文檔。

對(duì)于不同存儲(chǔ)位置的變量，我們是不可以對(duì)他們直接進(jìn)行計(jì)算的。存儲(chǔ)在不同位置中的數(shù)據(jù)是不可以直接進(jìn)行交互計(jì)算的。

換句話說(shuō)也就是上面例子中的torch.FloatTensor是不可以直接與torch.cuda.FloatTensor進(jìn)行基本運(yùn)算的。位于不同GPU顯存上的數(shù)據(jù)也是不能直接進(jìn)行計(jì)算的。

對(duì)于Variable，其實(shí)就僅僅是一種能夠記錄操作信息并且能夠自動(dòng)求導(dǎo)的容器，實(shí)際上的關(guān)鍵信息并不在Variable本身，而更應(yīng)該側(cè)重于Variable中存儲(chǔ)的data。

3. 模型遷移

模型的遷移這里指的是torch.nn下面的一些網(wǎng)絡(luò)模型以及自己創(chuàng)建的模型遷移到GPU上去。

上面講了使用.cuda()即可將數(shù)據(jù)從內(nèi)存中移植到顯存中去。

對(duì)于模型來(lái)說(shuō)，也是同樣的方式，我們使用.cuda來(lái)將網(wǎng)絡(luò)放到顯存上去。

3.1 torch.nn下的基本模型遷移

這里使用基本的單層感知機(jī)來(lái)進(jìn)行舉例(線性模型)。

data1 = torch.FloatTensor(2)
data2 = data1.cuda

# 創(chuàng)建一個(gè)輸入維度為2，輸出維度為2的單層神經(jīng)網(wǎng)絡(luò)
linear = torch.nn.Linear(2, 2)
>>>> Linear(in_features=2, out_features=2)

linear_cuda = linear.cuda()
>>>> Linear(in_features=2, out_features=2)

我們很驚奇地發(fā)現(xiàn)對(duì)于模型來(lái)說(shuō)，不像數(shù)據(jù)那樣使用了.cuda()之后會(huì)改變其的數(shù)據(jù)類型。模型看起來(lái)沒有任何的變化。

但是他真的沒有改變嗎。

我們將data1投入linear_cuda中去可以發(fā)現(xiàn)，系統(tǒng)會(huì)報(bào)錯(cuò)，而將.cuda之后的data2投入linear_cuda才能正常工作。并且輸出的也是具有cuda的數(shù)據(jù)類型。

那是怎么一回事呢？

這是因?yàn)檫@些所謂的模型，其實(shí)也就是對(duì)輸入?yún)?shù)做了一些基本的矩陣運(yùn)算。所以我們對(duì)模型.cuda()實(shí)際上也相當(dāng)于將模型使用到的參數(shù)存儲(chǔ)到了顯存上去。

對(duì)于上面的例子，我們可以通過(guò)觀察參數(shù)來(lái)發(fā)現(xiàn)區(qū)別所在。

linear.weight
>>>> Parameter containing:
  -0.6847 0.2149
  -0.5473 0.6863
  [torch.FloatTensor of size 2x2]

linear_cuda.weight
>>>> Parameter containing:
  -0.6847 0.2149
  -0.5473 0.6863
  [torch.cuda.FloatTensor of size 2x2 (GPU 0)]

3.2 自己模型的遷移

對(duì)于自己創(chuàng)建的模型類，由于繼承了torch.nn.Module，則可同樣使用.cuda()來(lái)將模型中用到的所有參數(shù)都存儲(chǔ)到顯存中去。

這里筆者曾經(jīng)有一個(gè)疑問(wèn)：當(dāng)我們對(duì)模型存儲(chǔ)到顯存中去之后，那么這個(gè)模型中的方法后面所創(chuàng)建出來(lái)的Tensor是不是都會(huì)默認(rèn)變成cuda的數(shù)據(jù)類型。答案是否定的。具體操作留給讀者自己去實(shí)現(xiàn)。

3.3 模型小結(jié)

對(duì)于模型而言，我們可以將其看做是一種類似于Variable的容器。我們對(duì)它進(jìn)行.cuda()處理，是將其中的參數(shù)放到顯存上去（因?yàn)閷?shí)際使用的時(shí)候也是通過(guò)這些參數(shù)做運(yùn)算）。

4. 總結(jié)

Pytorch使用起來(lái)直接簡(jiǎn)單，GPU的使用也是簡(jiǎn)單明了。然而對(duì)于多GPU和CPU的協(xié)同使用則還是有待提高。

以上這篇將Pytorch模型從CPU轉(zhuǎn)換成GPU的實(shí)現(xiàn)方法就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章: