對(duì)Python subprocess.Popen子進(jìn)程管道阻塞詳解
更新時(shí)間：2018年10月29日 08:44:36 作者：獨(dú)一無(wú)二的小個(gè)性
今天小編就為大家分享一篇對(duì)Python subprocess.Popen子進(jìn)程管道阻塞詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
問(wèn)題產(chǎn)生描述
使用子進(jìn)程處理一個(gè)大的日志文件，并對(duì)文件進(jìn)行分析查詢，需要等待子進(jìn)程執(zhí)行的輸出結(jié)果，進(jìn)行下一步處理。
出問(wèn)題的代碼
# 啟用子進(jìn)程執(zhí)行外部shell命令
def __subprocess(self,cmd):
try:
# 執(zhí)行外部shell命令， 輸出結(jié)果輸出管道
p = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT)
p.wait()
# 從標(biāo)準(zhǔn)輸出讀出shell命令的輸出結(jié)果
#rt = p.stdout.read().decode()
# 以換行符拆分?jǐn)?shù)據(jù)，并去掉換行符號(hào)存入列表
rt_list = rt.strip().split('\n')
except Exception as e:
if(DEBUG):
print(traceback.format_exc())
return rt_list
問(wèn)題分析
子進(jìn)程產(chǎn)生一些數(shù)據(jù)，他們會(huì)被buffer起來(lái)，當(dāng)buffer滿了，會(huì)寫(xiě)到子進(jìn)程的標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯(cuò)誤輸出，這些東西通過(guò)管道發(fā)送給父進(jìn)程。當(dāng)管道滿了之后，子進(jìn)程就停止寫(xiě)入，于是就卡住了，及時(shí)取走管道的輸出就不會(huì)出現(xiàn)阻塞了
但是本人此處采取的是臨時(shí)文件接收子進(jìn)程輸出，由于臨時(shí)文件是建立在磁盤(pán)上的，沒(méi)有size的限制，并且文件被close后，相應(yīng)的磁盤(pán)上的空間也會(huì)被釋放掉。
已改進(jìn)的代碼
import tempfile
# 啟用子進(jìn)程執(zhí)行外部shell命令
def __subprocess(self,cmd):
try:
# 得到一個(gè)臨時(shí)文件對(duì)象， 調(diào)用close后，此文件從磁盤(pán)刪除
out_temp = tempfile.TemporaryFile(mode='w+')
# 獲取臨時(shí)文件的文件號(hào)
fileno = out_temp.fileno()
# 執(zhí)行外部shell命令， 輸出結(jié)果存入臨時(shí)文件中
p = subprocess.Popen(cmd, shell=True, stdout=fileno, stderr=fileno)
p.wait()
# 從臨時(shí)文件讀出shell命令的輸出結(jié)果
out_temp.seek(0)
rt = out_temp.read()
# 以換行符拆分?jǐn)?shù)據(jù)，并去掉換行符號(hào)存入列表
rt_list = rt.strip().split('\n')
except Exception as e:
if(DEBUG):
print(traceback.format_exc())
finally:
if out_temp:
out_temp.close()
return rt_list
以上這篇對(duì)Python subprocess.Popen子進(jìn)程管道阻塞詳解就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
您可能感興趣的文章:
- python基礎(chǔ)教程之popen函數(shù)操作其它程序的輸入和輸出示例
- Python?subprocess.Popen?實(shí)時(shí)輸出?stdout的解決方法(正確管道寫(xiě)法)
- Python調(diào)用系統(tǒng)命令的四種方法詳解(os.system、os.popen、commands、subprocess)
- Python調(diào)用系統(tǒng)命令os.system()和os.popen()的實(shí)現(xiàn)
- 解決python3中os.popen()出錯(cuò)的問(wèn)題
- python中的subprocess.Popen()使用詳解
- Python中的Popen函數(shù)demo演示
相關(guān)文章
matplotlib 范圍選區(qū)(SpanSelector)的使用
這篇文章主要介紹了matplotlib 范圍選區(qū)(SpanSelector)的使用，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-02-02
inux 下隱藏文件是以句號(hào) “.” 開(kāi)頭的文件，根據(jù)文件名即可判斷是否為隱藏文件。win 下是以文件隱藏屬性確定的，所以，只能通過(guò)微軟的 API 獲取隱藏屬性來(lái)判斷是否為隱藏文件2014-03-03
這篇文章主要介紹了Python生成數(shù)字圖片代碼分享，具有一定參考價(jià)值，需要的朋友可以了解下。2017-10-10
本文主要介紹了Python?timeit使用小結(jié),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2025-01-01
這篇文章主要介紹了pycharm進(jìn)入科學(xué)模式以及退出方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-08-08
簡(jiǎn)單談?wù)刾ython中的lambda表達(dá)式
Lambda表達(dá)式在Python中經(jīng)常使用到，本文是給大家分享的小編總結(jié)出來(lái)的Lambda表達(dá)式的常用方法。2018-01-01
這篇文章主要介紹了Django url 路由匹配過(guò)程詳解，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-01-01
Python高級(jí)特性之切片迭代列表生成式及生成器詳解
這篇文章主要為大家介紹了Python高級(jí)特性之切片迭代列表生成式及生成器詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2021-10-10
在python中使用SQLAlchemy查詢PostgreSQL視圖的流程步驟
作為軟件開(kāi)發(fā)人員,查詢 PostgreSQL 視圖是一項(xiàng)常見(jiàn)任務(wù),使用視圖（代表SQL 查詢輸出的虛擬表）被認(rèn)為是處理關(guān)系數(shù)據(jù)庫(kù)時(shí)的有效方法,本文介紹如何在 Python 中使用 SQLAlchemy 查詢 PostgreSQL 視圖,需要的朋友可以參考下2023-09-09
這篇文章主要介紹了如何在Python中對(duì)文件進(jìn)行操作，文章圍繞主題展開(kāi)內(nèi)容，即使用Python中內(nèi)置的open()函數(shù)來(lái)打開(kāi)文件，返回文件對(duì)象，并對(duì)文件進(jìn)行處理2022-08-08