使用cpu和gpu的區(qū)別

在Tensorflow中使用gpu和cpu是有很大的差別的。在小數(shù)據(jù)集的情況下，cpu和gpu的性能差別不大。

不過在大數(shù)據(jù)集的情況下，cpu的時間顯著增加，而gpu變化并不明顯。

不過，我的筆記本電腦的風(fēng)扇終于全功率運(yùn)行了。

import tensorflow as tf
import timeit
import numpy as np
import matplotlib.pyplot as plt
def cpu_run(num):
  with tf.device('/cpu:0'):
    cpu_a=tf.random.normal([1,num])
    cpu_b=tf.random.normal([num,1])
    c=tf.matmul(cpu_a,cpu_b)
  return c
def gpu_run(num):
  with tf.device('/gpu:0'):
    gpu_a=tf.random.normal([1,num])
    gpu_b=tf.random.normal([num,1])
    c=tf.matmul(gpu_a,gpu_b)
  return c
k=10
m=7
cpu_result=np.arange(m,dtype=np.float32)
gpu_result=np.arange(m,dtype=np.float32)
x_time=np.arange(m)
for i in range(m):
  k=k*10
  x_time[i]=k
  cpu_str='cpu_run('+str(k)+')'
  gpu_str='gpu_run('+str(k)+')'
  #print(cpu_str)
  cpu_time=timeit.timeit(cpu_str,'from __main__ import cpu_run',number=10)
  gpu_time=timeit.timeit(gpu_str,'from __main__ import gpu_run',number=10)
  # 正式計算10次，取平均時間
  cpu_time=timeit.timeit(cpu_str,'from __main__ import cpu_run',number=10)
  gpu_time=timeit.timeit(gpu_str,'from __main__ import gpu_run',number=10)
  cpu_result[i]=cpu_time
  gpu_result[i]=gpu_time
print(cpu_result)
print(gpu_result)
fig, ax = plt.subplots()
ax.set_xscale("log")
ax.set_adjustable("datalim")
ax.plot(x_time,cpu_result)
ax.plot(x_time,gpu_result)
ax.grid()
plt.draw()
plt.show()

藍(lán)線是cpu的耗時，而紅線是gpu的耗時。

一些術(shù)語的比較(tensorflow和pytorch/cpu和gpu/)

tensorflow和pytorch

• pytorch是一個動態(tài)框架，tensorflow是一個靜態(tài)框架。
• tensorflow是一個靜態(tài)框架體現(xiàn)在：需要先構(gòu)建一個tensorflow的計算圖，構(gòu)建好之后這樣的一個計算圖是不能變的，然后再傳入不同的數(shù)據(jù)進(jìn)去進(jìn)行計算。
• 這種靜態(tài)框架帶來的問題是：固定了計算的流程，勢必帶來不靈活性，如果要改變計算的邏輯或者是隨著時間變化的計算邏輯，這樣的動態(tài)計算tensorflow是是無法實(shí)現(xiàn)的。
• pytorch是一個動態(tài)框架，和python的邏輯一樣，對變量做任何操作都是靈活的。
• 一個好的框架需要具備三點(diǎn)：（1）對大的計算圖能方便的實(shí)現(xiàn)（2）能自動求變量的導(dǎo)數(shù)（3）能簡單的運(yùn)行在GPU上。這三點(diǎn)pytorch都可以達(dá)到
• tensorflow在gpu上的分布式計算更為出色，在數(shù)據(jù)量巨大的時候效率比pytorch要高。企業(yè)很多都是用的tensorflow，pytorch在學(xué)術(shù)科研上使用多些。
• pytorch包括三個層次：tensor/variable/module。tensor即張量的意思，由于是矩陣的運(yùn)算，所以適合在矩陣上跑。variable就是tensor的封裝，封裝的目的就是為了能夠保存住該variable在整個計算圖中的位置，能夠知道計算圖中各個變量之間的相互依賴關(guān)系，這樣就能夠反向求梯度。module是一個更高的層次，是一個神經(jīng)網(wǎng)絡(luò)的層次，可以直接調(diào)用全連接層、卷積層等神經(jīng)網(wǎng)絡(luò)。

cpu和gpu

• cpu更少的核，但是單個核的計算能力很強(qiáng)
• gpu:更多的核，每個核的計算能力不如cpu，所以更適合做并行計算，如矩陣計算，深度學(xué)習(xí)就是很多的矩陣計算。

cuda

• 直接寫cuda代碼就類似寫匯編語言
• 比cuda高級的是cudnn
• 比cudnn高級的是用框架tensorflow/caffe/pytorch

以上為個人經(jīng)驗(yàn)，希望能給大家一個參考，也希望大家多多支持腳本之家。

最新評論