隨機(jī)數(shù)廣泛應(yīng)用在科學(xué)研究, 但是計(jì)算機(jī)無法產(chǎn)生真正的隨機(jī)數(shù), 一般成為偽隨機(jī)數(shù). 它的產(chǎn)生過程: 給定一個(gè)隨機(jī)種子(一個(gè)正整數(shù)), 根據(jù)隨機(jī)算法和種子產(chǎn)生隨機(jī)序列. 給定相同的隨機(jī)種子, 計(jì)算機(jī)產(chǎn)生的隨機(jī)數(shù)列是一樣的(這也許是偽隨機(jī)的原因).

隨機(jī)種子是什么？

隨機(jī)種子是針對(duì)隨機(jī)方法而言的。

隨機(jī)方法：常見的隨機(jī)方法有 生成隨機(jī)數(shù)，以及其他的像 隨機(jī)排序 之類的，后者本質(zhì)上也是基于生成隨機(jī)數(shù)來實(shí)現(xiàn)的。在深度學(xué)習(xí)中，比較常用的隨機(jī)方法的應(yīng)用有：網(wǎng)絡(luò)的隨機(jī)初始化，訓(xùn)練集的隨機(jī)打亂等。

隨機(jī)種子的取值范圍？

可以是任意數(shù)字，如10，1000

python random

下面以python的random函數(shù)為例, 做了一個(gè)測(cè)試.

當(dāng)用戶未指定隨機(jī)種子, 系統(tǒng)默認(rèn)隨機(jī)生成, 一般與系統(tǒng)當(dāng)前時(shí)間有關(guān).用戶指定隨機(jī)種子后, 使用隨機(jī)函數(shù)產(chǎn)生的隨機(jī)數(shù)可以復(fù)現(xiàn).種子確定后, 每次使用隨機(jī)函數(shù)相當(dāng)于從隨機(jī)序列去獲取隨機(jī)數(shù), 每次獲取的隨機(jī)數(shù)是不同的.

pytorch

使用pytorch復(fù)現(xiàn)效果時(shí), 總是無法做到完全的復(fù)現(xiàn). 同一份代碼運(yùn)行兩次, 有時(shí)結(jié)果差異很大. 這是由于算法中的隨機(jī)性導(dǎo)致的. 要想每次獲得的結(jié)果一致, 必須固定住隨機(jī)種子. 首先, 我們需要找到算法在哪里使用了隨機(jī)性, 再相應(yīng)的固定住隨機(jī)種子.

def seed_torch():
	seed = 1024 # 用戶設(shè)定
 # seed = int(time.time()*256)
 # 保存隨機(jī)種子
 with open('seed.txt', 'w') as f:
  f.write(str(seed))
 random.seed(seed)
 os.environ['PYTHONHASHSEED'] = str(seed)
 np.random.seed(seed)
 torch.manual_seed(seed)
 torch.cuda.manual_seed(seed)
 torch.cuda.manual_seed_all(seed)
 torch.backends.cudnn.benchmark = False
 torch.backends.cudnn.deterministic = True
seed_torch()

上面的代碼固定了pytorch常用的隨機(jī)種子, 但是如果你在預(yù)處理中涉及了隨機(jī)性, 也需要固定住.

為了復(fù)現(xiàn)結(jié)果, 我們固定住了隨機(jī)種子. 但pytorch訓(xùn)練模型時(shí), 不同的隨機(jī)種子會(huì)產(chǎn)生不同的結(jié)果. 每次使用固定的隨機(jī)種子, 可能錯(cuò)失好的結(jié)果. 為此, 我們可以每次使用不一樣的隨機(jī)種子, 并保存下來

 到此這篇關(guān)于簡(jiǎn)述python&pytorch 隨機(jī)種子的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)pytorch 隨機(jī)種子內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論