用python記錄運行pid,并在需要時kill掉它們的實例
我在跑爬蟲程序的時候,由于爬蟲程序的等待目標(biāo)服務(wù)器返回數(shù)據(jù)的時間很長,而cpu占用很低,所以經(jīng)常掛著代理一跑就跑好幾百個。但是爬蟲程序通常是寫了死循環(huán),或直到分配給該進程的任務(wù)都跑完才退出的。如果我們想中途結(jié)束掉這些任務(wù),是沒辦法手工一個一個kill掉的。那么該如何結(jié)束這些進程呢?
我的方法就是在運行爬蟲進程時,記錄該進程的Pid,然后在需要手動結(jié)束時,再用語句kill掉它們。
for i in {1..100}
do
nohup python NetEase_comms_proxy.py > hehe.dat 2>&1 & echo $! >> run.pid
sleep 10
done
上述語句完成了將腳本在后臺運行100便,并且將pid append到run.pid文件中。其中nohup 是 no hang up的縮寫命令。do…done之間是被循環(huán)的語句。
接下來就是kill掉它們的語句了,我用的python
import os
if __name__ == '__main__':
fin = open('run.pid', 'r')
pids = []
for line in fin:
pids.append(line.strip())
for pid in pids:
cmd = 'kill ' + pid
os.system(cmd)
這樣就把記錄下來的pid全部kill掉了。
但需要注意的一點時,如果在任務(wù)運行期間,有的進程由于完成任務(wù)或者出錯而退出。其他的程序可能會share這些進程的Pid,這樣如果在運行kill腳本的時候,可能附帶就把這些進程也給Kill掉了,造成不必要的麻煩。
以上這篇用python記錄運行pid,并在需要時kill掉它們的實例就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關(guān)文章
Python中的數(shù)據(jù)可視化matplotlib與繪圖庫模塊
這篇文章介紹了Python中的數(shù)據(jù)可視化matplotlib與繪圖庫模塊,文中通過示例代碼介紹的非常詳細(xì)。對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2022-05-05
關(guān)于pandas.DataFrame的類SQL操作
這篇文章主要介紹了關(guān)于pandas.DataFrame的類SQL操作方式,具有很好的參考價值,希望對大家有所幫助,2023-08-08
Python and、or以及and-or語法總結(jié)
這篇文章主要介紹了Python and、or以及and-or語法總結(jié),本文分別給出實例講解它們的使用方法,需要的朋友可以參考下2015-04-04
python 對任意數(shù)據(jù)和曲線進行擬合并求出函數(shù)表達式的三種解決方案
這篇文章主要介紹了python 對任意數(shù)據(jù)和曲線進行擬合并求出函數(shù)表達式的三種解決方案,本文通過實例代碼給大家介紹的非常詳細(xì),具有一定的參考借鑒價值,需要的朋友可以參考下2020-02-02

