快捷導(dǎo)航

jupyter notebook參數(shù)化運(yùn)行python方式

更新時(shí)間：2020年04月10日 14:51:08 作者：HackerTom

這篇文章主要介紹了jupyter notebook參數(shù)化運(yùn)行python方式，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧

Updates

（2019.8.14 19:53）吃飯前用這個(gè)方法實(shí)戰(zhàn)了一下，吃完回來一看好像不太行：跑完一組參數(shù)之后，到跑下一組參數(shù)時(shí)好像沒有釋放之占用的 GPU，于是 notebook 上的結(jié)果，后面好幾條都報(bào)錯(cuò)說 cuda out of memory。

現(xiàn)在改成：將 notebook 中的代碼寫在一個(gè) python 文件中，然后用命令行運(yùn)行這個(gè)文件，比如：

# autorun.py
import os
# print(os.getcwd())

over = [ # 之前手工改參數(shù)跑完的參數(shù)組合
 [0, 1, 1], [0, 1, 2], [0, 1, 3],
 [0, 2, 1],
 [1, 0, 1],
 [1, 2, 1]
]

for alpha in range(1, 4, 1):
 for beta in range(3):
  for gamma in range(3):
   if [alpha, beta, gamma] in over:
    continue
   os.system(f'python main.py --alpha {alpha} --beta {beta} --gamma {gamma}')

這里的 main.py 是訓(xùn)練用的主文件。改在 py 里用 os.system 跑，希望跑一組參數(shù)之后完會(huì)自動(dòng)釋放資源再跑下一組（?）

Notes

有多組參數(shù)組合需要嘗試，不想每組參數(shù)都人工修改 python 代碼，再在 notebook 中 %run 它。

python 參數(shù)通過的 argparse 接收，在 notebook 中寫個(gè)多重循環(huán)遍歷參數(shù)組合傳給 python 程序自動(dòng)運(yùn)行。

記錄一個(gè)簡例。

Codes

test_dir
|- test.py
|- test.ipynb

in py file

# test.py
import argparse

parser = argparse.ArgumentParser()
parser.add_argument('--number', type=int, default=0, help='number')
parser.add_argument('--string', type=str, default='abc', help='string')
args = parser.parse_args()

print('number:', args.number, type(args.number))
print('string:', args.string, type(args.string))

in notebook

注意傳參數(shù)時(shí) $ 的使用

# test.ipynb
for i in range(3):
 for s in ('a', 'b', 'c'):
  %run test.py --number $i --string $s

補(bǔ)充知識(shí)：Jupyter Notebook出現(xiàn)kernel error FileNotFoundError: [WinError 2] 系統(tǒng)找不到指定的文件

Jupyter Notebook出現(xiàn)kernel error

conda create -n py36 --clone root

當(dāng)時(shí)用Anaconda克隆本地的環(huán)境root到自己創(chuàng)建的py36環(huán)境，由于克隆完成后我又更改了虛擬環(huán)境名稱，所以導(dǎo)致啟動(dòng)

jupyter notebook 進(jìn)入文件是不能找到連接文件。

File”//anaconda/lib/python2.7/site-packages/jupyter_client/manager.py”, line 190, in _launch_kernel
return launch_kernel(kernel_cmd, **kw)
File “//anaconda/lib/python2.7/site-packages/jupyter_client/launcher.py”, line 123, in launch_kernel
proc = Popen(cmd, **kwargs)
File “//anaconda/lib/python2.7/subprocess.py”, line 710, in init
errread, errwrite)
File “//anaconda/lib/python2.7/subprocess.py”, line 1335, in _execute_child
raise child_exception
OSError: [Errno 2] No such file or director

解決辦法

首先在cmd 使用jupyter kernelspec list查看安裝的內(nèi)核和位置

進(jìn)入安裝內(nèi)核目錄打開kernel.jason文件，查看Python編譯器的路徑是否正確

如果不正確python -m ipykernel install --user重新安裝內(nèi)核，如果有多個(gè)內(nèi)核，如果你使用conda create -n python2 python=2,為Python2.7設(shè)置conda變量,那么在anacoda下使用activate pyhton2切換python環(huán)境，重新使用python -m ipykernel install --user安裝內(nèi)核.（通用情況）

或者直接進(jìn)入kernel.json里更改py36(這是屬于我的情況)

重啟jupyter notebook即可。

以上這篇jupyter notebook參數(shù)化運(yùn)行python方式就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章: