Jupyter Notebook運行Python代碼實現(xiàn)傳參方式
Jupyter Notebook運行Python代碼實現(xiàn)傳參
在Jupyter Notebook中,運行Python源代碼非常方便,但是如何模擬命令行方式運行時的輸入?yún)?shù)呢?
如果直接使用sys.argv會出現(xiàn)錯誤。
例如,使用argv[1]時出現(xiàn)

導致上述錯誤的原因為:在Jupyter Notebook中運行Python代碼時,argv中有三個默認參數(shù),分別是:
argv[0]: ‘路徑\test.py' (源代碼文件名) argv[1]: ‘-f' argv[2]: '路徑\kernel-…json'
而在命令行方式下運行Python代碼時,argv[0]與上述argv[0]相同,但argv[1]為命令行中緊隨在test.py之后的字符串
例如,在如下命令行中
python test.py test.txt argv[1]為 test.txt
因此,解決方案就是對 list argv 進行修改,如下面的代碼所示:
#需要sys模塊來使用argv
from sys import argv
#查看當前的argv列表
print(len(argv))
print(argv)
#直接修改argv
argv[1] = 'test.txt'
#也可以添加新的參數(shù)
argv.append('test.txt')這樣,在后續(xù)代碼中, .py 和 .ipynb源代碼一致,無需為在Jupyter Notebook中運行而進行修改。
jupyter notebook參數(shù)化運行python
Updates
(2019.8.14 19:53)吃飯前用這個方法實戰(zhàn)了一下,吃完回來一看好像不太行:跑完一組參數(shù)之后,到跑下一組參數(shù)時好像沒有釋放之占用的 GPU,于是 notebook 上的結(jié)果,后面好幾條都報錯說 cuda out of memory。
現(xiàn)在改成:將 notebook 中的代碼寫在一個 python 文件中,然后用命令行運行這個文件,比如:
# autorun.py
import os
# print(os.getcwd())
over = [ ?# 之前手工改參數(shù)跑完的參數(shù)組合
? ? [0, 1, 1], [0, 1, 2], [0, 1, 3],
? ? [0, 2, 1],
? ? [1, 0, 1],
? ? [1, 2, 1]
]
for alpha in range(1, 4, 1):
? ? for beta in range(3):
? ? ? ? for gamma in range(3):
? ? ? ? ? ? if [alpha, beta, gamma] in over:
? ? ? ? ? ? ? ? continue
? ? ? ? ? ? os.system(f'python main.py --alpha {alpha} --beta {beta} --gamma {gamma}')這里的 main.py 是訓練用的主文件。改在 py 里用 os.system 跑,希望跑一組參數(shù)之后完會自動釋放資源再跑下一組(?)
Notes
有多組參數(shù)組合需要嘗試,不想每組參數(shù)都人工修改 python 代碼,再在 notebook 中 %run 它。
python 參數(shù)通過的 argparse 接收,在 notebook 中寫個多重循環(huán)遍歷參數(shù)組合傳給 python 程序自動運行。
記錄一個簡例。
Codes
test_dir
|- test.py
|- test.ipynb
in py file
# test.py
import argparse
parser = argparse.ArgumentParser()
parser.add_argument('--number', type=int, default=0, help='number')
parser.add_argument('--string', type=str, default='abc', help='string')
args = parser.parse_args()
print('number:', args.number, type(args.number))
print('string:', args.string, type(args.string))in notebook
注意傳參數(shù)時 $ 的使用
# test.ipynb
for i in range(3):
? ? for s in ('a', 'b', 'c'):
? ? ? ? %run test.py --number $i --string $s總結(jié)
以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關(guān)文章
Tensorflow使用tfrecord輸入數(shù)據(jù)格式
這篇文章主要介紹了Tensorflow使用tfrecord輸入數(shù)據(jù)格式,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2018-06-06
Python操作系統(tǒng)的6個自動化腳本小結(jié)
在Python中,實現(xiàn)操作系統(tǒng)自動化的腳本可以涵蓋從文件操作、系統(tǒng)監(jiān)控到網(wǎng)絡(luò)任務(wù)等多種功能,下面我將詳細介紹六個不同類別的Python自動化腳本示例,這些示例將幫助你理解如何用Python來自動化日常操作系統(tǒng)任務(wù),需要的朋友可以參考下2024-10-10
Python中__new__與__init__方法的區(qū)別詳解
這篇文章主要介紹了Python中__new__與__init__方法的區(qū)別,是Python學習中的基礎(chǔ)知識,需要的朋友可以參考下2015-05-05

