python網(wǎng)絡(luò)編程之進(jìn)程詳解
更新時(shí)間：2022年01月09日 17:01:27 作者：Top Secret
這篇文章主要為大家介紹了python網(wǎng)絡(luò)編程之進(jìn)程，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來(lái)幫助
1.進(jìn)程
它們的主要作用：多任務(wù)同時(shí)執(zhí)行
1.1進(jìn)程：
Windows打開(kāi)的程序就是一個(gè)進(jìn)程例如打開(kāi)qq 打開(kāi)微信
如果打開(kāi)2個(gè)qq代表打開(kāi)了2個(gè)進(jìn)程
1.2在python中創(chuàng)建進(jìn)程
只能Linux 使用os.fork()用這個(gè)可以創(chuàng)建多進(jìn)程
Linux/Windows使用multiprocessing模塊和Pool進(jìn)程池（他倆是跨平臺(tái)模塊）
1.3 使用multiprocessing創(chuàng)建進(jìn)程
1.3.1 單個(gè)進(jìn)程時(shí)：
from multiprocessing import Process #從multiprocessing庫(kù)中導(dǎo)入Process模塊
#執(zhí)行進(jìn)程代碼
#一個(gè)子進(jìn)程
def test(interval):
print("我是一個(gè)子進(jìn)程")
#執(zhí)行主程序
def main():
print("主進(jìn)程啟動(dòng)")
p = Process(target=test,args=(1,)) #使用進(jìn)程模塊，目標(biāo)參數(shù)target為子進(jìn)程函數(shù)
p.start() #啟動(dòng)子進(jìn)程
print("主進(jìn)程結(jié)束")
if __name__ == '__main__':
main()
"""
>>> runfile('D:/python_files/python_fiew/網(wǎng)絡(luò)編程_01.py', wdir='D:/python_files/python_fiew')
主進(jìn)程啟動(dòng)
主進(jìn)程結(jié)束
我是一個(gè)子進(jìn)程
"""1.3.2 多個(gè)子進(jìn)程時(shí)：
from multiprocessing import Process
import time,os
#子進(jìn)程1
def child_1(interval):
print("子進(jìn)程(%s)開(kāi)始執(zhí)行，父進(jìn)程為(%s)"%(os.getpid(),os.getpid())) #os.getpid()為獲取進(jìn)程號(hào)
t_stat = time.time() #計(jì)時(shí)開(kāi)始
time.sleep(interval) #程序?qū)⒈粧炱餹秒
t_end = time.time() #計(jì)時(shí)結(jié)束
print("子進(jìn)程(%s)的執(zhí)行時(shí)間為'%0.2f'秒"%(os.getpid(),t_end-t_stat))
#子進(jìn)程2
def chlid_2(interval):
print("子進(jìn)程(%s)開(kāi)始執(zhí)行，父進(jìn)程為(%s)"%(os.getpid(),os.getpid()))
t_stat = time.time()
time.sleep(interval)
t_end = time.time()
print("子進(jìn)程(%s)的執(zhí)行時(shí)間為(%0.2f)"%(os.getpid(),t_end-t_stat))
if __name__ == '__main__':
print("-----父進(jìn)程開(kāi)始執(zhí)行-------")
print("父進(jìn)程啟動(dòng)時(shí)，父進(jìn)程PID為：(%s)"%(os.getpid())) #打印父進(jìn)程啟動(dòng)時(shí)父進(jìn)程的PID
p1 = Process(target=child_1,args=(1,)) #實(shí)例化子進(jìn)程1
p2 = Process(target=chlid_2,args=(1,)) #實(shí)例化子進(jìn)程2
p1.start() #啟動(dòng)子進(jìn)程1
p2.start() #啟動(dòng)子進(jìn)程2
#此時(shí)父進(jìn)程仍然在執(zhí)行
print("pi.is_alive=%s"%(p1.is_alive())) #p1.is_alive() 判斷子進(jìn)程p1是否還在執(zhí)行，執(zhí)行則返回ture
print("p2_is_alive=%s"%(p2.is_alive()))
#輸出此時(shí)進(jìn)程執(zhí)行過(guò)程中的PID(進(jìn)程號(hào))
print("執(zhí)行過(guò)程中的p1的進(jìn)程號(hào)p1.pid=%s"%(p1.pid))
print("執(zhí)行過(guò)程中的p2的進(jìn)程號(hào)p2.pid=%s" % (p2.pid))
print("---等待子進(jìn)程結(jié)束----")
p1.join() #等待子程序p1結(jié)束
p2.join()
print("父進(jìn)程結(jié)束，此時(shí)父進(jìn)程的進(jìn)程號(hào)為：(%s)"%(os.getpid()))
#總結(jié)：#os.getpid()為獲取進(jìn)程號(hào) #p1.is_alive() 判斷子進(jìn)程p1是否還在執(zhí)行，執(zhí)行則返回ture
由運(yùn)行結(jié)果分析：子進(jìn)程在執(zhí)行的過(guò)程中，進(jìn)程號(hào)不變。父進(jìn)程號(hào)在啟動(dòng)時(shí)，和在結(jié)束所有子進(jìn)程時(shí) 相同，而當(dāng)子進(jìn)程同時(shí)執(zhí)行時(shí)，父進(jìn)程號(hào)會(huì)動(dòng)態(tài)變化。
掛起進(jìn)程在 操作系統(tǒng)中可以定義為暫時(shí)被淘汰出 內(nèi)存的進(jìn)程，機(jī)器的資源是有限的，在資源不足的情況下，操作系統(tǒng)對(duì)在內(nèi)存中的程序進(jìn)行合理的安排，其中有的進(jìn)程被暫時(shí)調(diào)離出內(nèi)存，當(dāng)條件允許的時(shí)候，會(huì)被操作系統(tǒng)再次調(diào)回內(nèi)存，重新進(jìn)入等待被執(zhí)行的狀態(tài)即就緒態(tài)，系統(tǒng)在超過(guò)一定的時(shí)間沒(méi)有任何動(dòng)作。
1.3.3 自定義進(jìn)程類方法
使用Process子類創(chuàng)建進(jìn)程Process(target=test)實(shí)現(xiàn)多進(jìn)程，復(fù)雜的要定義一個(gè)類繼承Process，每次實(shí)例化這個(gè)類的時(shí)候就等同于實(shí)例化一個(gè)進(jìn)程對(duì)象
（解決上一個(gè)程序中兩個(gè)子進(jìn)程重復(fù)代碼的問(wèn)題）
from multiprocessing import Processimport time,os#繼承Process類class SubProcess(Process): def __init__(self,interval,name=""): #子類SubProcess的構(gòu)造方法 Process.__init__(self) #Process.__init__(self) #繼承父類的構(gòu)造方法 self.interval = interval self.name = name #重寫(xiě)父類方法 def run(self): print("子進(jìn)程(%s)開(kāi)始執(zhí)行，父進(jìn)程為(%s)" % (os.getpid(), os.getpid())) # os.getpid()為獲取進(jìn)程號(hào) t_stat = time.time() # 計(jì)時(shí)開(kāi)始 time.sleep(self.interval) # 程序?qū)⒈粧炱餹秒 t_end = time.time() # 計(jì)時(shí)結(jié)束 print("子進(jìn)程(%s)的執(zhí)行時(shí)間為'%0.2f'秒" % (os.getpid(), t_end - t_stat))if __name__ == '__main__': print("-----父進(jìn)程開(kāi)始執(zhí)行-------") print("父進(jìn)程啟動(dòng)時(shí)，父進(jìn)程PID為：(%s)"%(os.getpid())) #打印父進(jìn)程啟動(dòng)時(shí)父進(jìn)程的PID p1 = SubProcess(interval=1,name='ZARD1') #實(shí)例化子進(jìn)程1 p2 = SubProcess(interval=2,name=('ZARD2')) #實(shí)例化子進(jìn)程2 p1.start() #啟動(dòng)子進(jìn)程1 p2.start() #啟動(dòng)子進(jìn)程2 #此時(shí)父進(jìn)程仍然在執(zhí)行 print("pi.is_alive=%s"%(p1.is_alive())) #p1.is_alive() 判斷子進(jìn)程p1是否還在執(zhí)行，執(zhí)行則返回ture print("p2_is_alive=%s"%(p2.is_alive())) #輸出此時(shí)進(jìn)程執(zhí)行過(guò)程中的PID(進(jìn)程號(hào)) print("p1.name = %s"%(p1.name)) print("執(zhí)行過(guò)程中的p1的進(jìn)程號(hào)p1.pid=%s"%(p1.pid)) print("p2.name = %s" % (p2.name)) print("執(zhí)行過(guò)程中的p2的進(jìn)程號(hào)p2.pid=%s" % (p2.pid)) print("---等待子進(jìn)程結(jié)束----") p1.join() #等待子程序p1結(jié)束 p2.join() print("父進(jìn)程結(jié)束，此時(shí)父進(jìn)程的進(jìn)程號(hào)為：(%s)"%(os.getpid()))from multiprocessing import Process
import time,os
#繼承Process類
class SubProcess(Process):
def __init__(self,interval,name=""): #子類SubProcess的構(gòu)造方法
Process.__init__(self) #Process.__init__(self) #繼承父類的構(gòu)造方法
self.interval = interval
self.name = name
#重寫(xiě)父類方法
def run(self):
print("子進(jìn)程(%s)開(kāi)始執(zhí)行，父進(jìn)程為(%s)" % (os.getpid(), os.getpid())) # os.getpid()為獲取進(jìn)程號(hào)
t_stat = time.time() # 計(jì)時(shí)開(kāi)始
time.sleep(self.interval) # 程序?qū)⒈粧炱餹秒
t_end = time.time() # 計(jì)時(shí)結(jié)束
print("子進(jìn)程(%s)的執(zhí)行時(shí)間為'%0.2f'秒" % (os.getpid(), t_end - t_stat))
if __name__ == '__main__':
print("-----父進(jìn)程開(kāi)始執(zhí)行-------")
print("父進(jìn)程啟動(dòng)時(shí)，父進(jìn)程PID為：(%s)"%(os.getpid())) #打印父進(jìn)程啟動(dòng)時(shí)父進(jìn)程的PID
p1 = SubProcess(interval=1,name='ZARD1') #實(shí)例化子進(jìn)程1
p2 = SubProcess(interval=2,name=('ZARD2')) #實(shí)例化子進(jìn)程2
p1.start() #啟動(dòng)子進(jìn)程1
p2.start() #啟動(dòng)子進(jìn)程2
#此時(shí)父進(jìn)程仍然在執(zhí)行
print("pi.is_alive=%s"%(p1.is_alive())) #p1.is_alive() 判斷子進(jìn)程p1是否還在執(zhí)行，執(zhí)行則返回ture
print("p2_is_alive=%s"%(p2.is_alive()))
#輸出此時(shí)進(jìn)程執(zhí)行過(guò)程中的PID(進(jìn)程號(hào))
print("p1.name = %s"%(p1.name))
print("執(zhí)行過(guò)程中的p1的進(jìn)程號(hào)p1.pid=%s"%(p1.pid))
print("p2.name = %s" % (p2.name))
print("執(zhí)行過(guò)程中的p2的進(jìn)程號(hào)p2.pid=%s" % (p2.pid))
print("---等待子進(jìn)程結(jié)束----")
p1.join() #等待子程序p1結(jié)束
p2.join()
print("父進(jìn)程結(jié)束，此時(shí)父進(jìn)程的進(jìn)程號(hào)為：(%s)"%(os.getpid()))
代碼分析：
1.4 Pool進(jìn)程池
（解決當(dāng)要?jiǎng)?chuàng)造成百上千個(gè)進(jìn)程的情況）
例子： 有三個(gè)水槽 ，要接10桶水，我們最多只能同時(shí)接3盆，第10盆隨便找一個(gè)盆，其他兩個(gè)閑置。
from multiprocessing import Pool #導(dǎo)入進(jìn)程池
import os,time
def task(name):
print("子進(jìn)程(%s)執(zhí)行task %s..."%(os.getpid(),name))
time.sleep(2) #休眠2秒
if __name__ == '__main__':
print("---父進(jìn)程(%s)啟動(dòng)---"%(os.getpid()))
p = Pool(3) #定義一個(gè)進(jìn)程池，一次最多容納三個(gè)進(jìn)程，即一次最多可同時(shí)執(zhí)行三個(gè)子進(jìn)程
for i in range(10):
p.apply_async(task,args=(i,)) #使用非阻塞的方式調(diào)用task
print("---等待所有子進(jìn)程結(jié)束---")
p.close() #關(guān)閉進(jìn)程池，關(guān)閉后進(jìn)程池不再接收新的請(qǐng)求
p.join() #等待子進(jìn)程結(jié)束
print("全部子進(jìn)程結(jié)束")
小結(jié)：定義一個(gè)進(jìn)程池，并規(guī)定一個(gè)池子中可以同時(shí)執(zhí)行多少個(gè)進(jìn)程，可以實(shí)現(xiàn)多個(gè)進(jìn)程分批次的執(zhí)行。
注意：
（1）區(qū)分使用Process模塊與使用進(jìn)程池模塊Pool的區(qū)別
（2）對(duì)于實(shí)例對(duì)象 p，p.start()表示開(kāi)始執(zhí)行進(jìn)程；p.join()表示結(jié)束進(jìn)程
（3）注意加強(qiáng)阻塞與非阻塞知識(shí)點(diǎn)的學(xué)習(xí)
2. 驗(yàn)證進(jìn)程是否能共享信息
引例：
from multiprocessing import Process
#子進(jìn)程1
def plus():
print("---子進(jìn)程1開(kāi)始執(zhí)行---")
global g_num #聲明全局變量
g_num += 50
print("在子進(jìn)程1下：g_num = %d"%(g_num))
print("---子進(jìn)程1結(jié)束運(yùn)行---")
#子進(jìn)程2
def minus():
print("---子進(jìn)程2開(kāi)始執(zhí)行---")
global g_num #聲明全局變量
g_num -= 50
print("在子進(jìn)程2下：g_num = %d"%(g_num))
print("---子進(jìn)程2結(jié)束運(yùn)行---")
g_num = 100 #賦值全局變量
if __name__ == '__main__':
print("---主進(jìn)程啟動(dòng)---")
print("在主進(jìn)程運(yùn)行中，g_num = %d"%(g_num))
child1 = Process(target=plus) #實(shí)例化子進(jìn)程1
child2 = Process(target=minus) # 實(shí)例化子進(jìn)程2
child1.start() #啟動(dòng)子進(jìn)程1
child2.start()
child1.join() #等待子進(jìn)程結(jié)束
child2.join()
print("---主進(jìn)程結(jié)束---")
由以上例子可見(jiàn)，對(duì)于進(jìn)程1，2而言，全局變量g_num并不互相影響。即有如下關(guān)系：
那么就有如下問(wèn)題了，思考：如何才能實(shí)現(xiàn)進(jìn)程之間的通訊？
答：通過(guò) multiprocessing Queue（隊(duì)列）， Pipes（管道）， 接下來(lái)主要演示 Queue（隊(duì)列）模塊。
2.1 Queue（隊(duì)列）模塊：
2.1.1 隊(duì)列簡(jiǎn)介：
1.新來(lái)的排隊(duì)的在隊(duì)尾
2.最前面的完成離隊(duì)后，后面一個(gè)跟上
多進(jìn)程隊(duì)列的使用Queue， 本身他就是一個(gè)消息隊(duì)列程序 ：
實(shí)踐： 當(dāng)Queue(3)時(shí)：
from multiprocessing import Queue #導(dǎo)入隊(duì)列模塊
if __name__ == '__main__':
q = Queue(3) #初始化一個(gè)Queue對(duì)象，最多只能接受3條put信息
#消息寫(xiě)入隊(duì)列
q.put("消息1") #將此消息1寫(xiě)入隊(duì)列
q.put("消息2")
print(q.full()) #q.full() 是驗(yàn)證隊(duì)列是否已滿 沒(méi)滿則返回False
q.put("消息3") #將此消息3寫(xiě)入隊(duì)列
print(q.full()) #q.full() 是驗(yàn)證隊(duì)列是否已滿 滿了則返回Ture
#利用try看看隊(duì)列已滿是否還可再塞入信息
try:
q.put("嘗試塞入第4條信息",True,1) #可能出問(wèn)題的代碼
except:
print("嘗試?yán)胵.put()向隊(duì)列中繼續(xù)添加信息：")
print("隊(duì)列已滿，現(xiàn)有消息數(shù)量為：%d，無(wú)法繼續(xù)添加信息。"%(q.qsize())) #q.qsize() 返回隊(duì)列中的已有信息數(shù)量
try:
q.put_nowait("嘗試塞入第4條信息") # 可能出問(wèn)題的代碼
except:
print("嘗試?yán)胵.put_nowait()向隊(duì)列中繼續(xù)添加信息：")
print("隊(duì)列已滿，現(xiàn)有消息數(shù)量為：%d，無(wú)法繼續(xù)添加信息。" % (q.qsize())) # q.qsize() 返回隊(duì)列中的已有信息數(shù)量
#獲取（打?。╆?duì)列中的信息
if not q.empty():
print("---從隊(duì)列中讀取信息---")
for i in range(q.qsize()): #循環(huán)打印隊(duì)列信息
print(q.get_nowait()) #q.get_nowait() 讀取隊(duì)列信息
解決：
當(dāng)Queue(4)時(shí)，打印的結(jié)果如下，可見(jiàn)此時(shí)可繼續(xù)向隊(duì)列中塞入第4條信息。
小結(jié)：
multiprocessing.Process 可以創(chuàng)建多進(jìn)程，使用multiprocessing Queue可以實(shí)現(xiàn)隊(duì)列操作。
2.2 實(shí)現(xiàn)進(jìn)程間的通信
from multiprocessing import Process,Queue
import time
#子進(jìn)程1：向隊(duì)列中寫(xiě)入數(shù)據(jù)
def write_date(q):
if not q.full(): #若隊(duì)列沒(méi)滿，則寫(xiě)入數(shù)據(jù)
for i in range(5):
date = "數(shù)據(jù)" + str(i)
q.put(date) #向隊(duì)列中寫(xiě)入數(shù)據(jù)
print("已寫(xiě)入：%s" % date)
#子進(jìn)程2：向隊(duì)列中讀取數(shù)據(jù)
def read_date(q):
time.sleep(1) # 休眠1s
while not q.empty():
print("讀取:%s" % q.get(True, 2)) # 等待2s，如果還沒(méi)讀取到消息，拋出異常
#主程序
if __name__ == '__main__':
print("---主程序啟動(dòng)---")
q = Queue() # 父進(jìn)程創(chuàng)建Queue，并傳給各個(gè)子進(jìn)程
write_child = Process(target=write_date,args=(q,)) # 實(shí)例化進(jìn)程對(duì)象，其中args=(q,)表示把隊(duì)列傳給子進(jìn)程1
read_child = Process(target=read_date,args=(q,))
write_child.start() # 啟動(dòng)子進(jìn)程1，寫(xiě)入
read_child.start() # 啟動(dòng)子進(jìn)程2，讀取
write_child.join() # 等待子進(jìn)程1結(jié)束
read_child.join() # 等待子進(jìn)程2結(jié)束
print('-----父進(jìn)程結(jié)束-----')
小結(jié)：
（1）進(jìn)程之間可以通過(guò)隊(duì)列來(lái)實(shí)現(xiàn)通信，但需要注意的是，隊(duì)列中的信息遵循“先進(jìn)先出”的原則。如上數(shù)據(jù)那樣，先寫(xiě)入數(shù)據(jù)0，則最先讀出的數(shù)據(jù)也是數(shù)據(jù)0；
（2）如：
在父進(jìn)程中創(chuàng)建隊(duì)列，再利用Process模塊實(shí)例化子進(jìn)程對(duì)象，target參數(shù)為子進(jìn)程的函數(shù)名，args參數(shù)即為隊(duì)列。
總結(jié)
本篇文章就到這里了，希望能夠給你帶來(lái)幫助，也希望您能夠多多關(guān)注腳本之家的更多內(nèi)容!
相關(guān)文章
如何從Python 程序中運(yùn)行 PowerShell 腳本
Windows PowerShell 由數(shù)十個(gè)內(nèi)置 cmdlet 組成,它們提供了豐富的功能集,本文將重點(diǎn)討論從 Python 代碼執(zhí)行 PowerShell 邏輯,感興趣的朋友跟隨小編一起看看吧2023-10-10
這篇文章主要介紹了Python中subprocess模塊的用法詳解,subprocess是Python 2.4中新增的一個(gè)模塊,它允許你生成新的進(jìn)程,連接到它們的 input/output/error 管道,并獲取它們的返回狀態(tài)碼,這個(gè)模塊的目的在于替換幾個(gè)舊的模塊和方法,需要的朋友可以參考下2023-08-08
自動(dòng)化測(cè)試時(shí)基于Python常用的幾個(gè)加密算法總結(jié)
這幾天做自動(dòng)化測(cè)試,遇到一個(gè)問(wèn)題,那就是接口的請(qǐng)求的密碼是加密的,產(chǎn)品的要求是不能使用使用其他特殊手段,他給提供加密算法,需要在接口請(qǐng)求的時(shí)候,使用加密算法處理后的數(shù)據(jù)傳參,本文主要是整理了幾個(gè)加密算法,以便后續(xù)測(cè)試使用,需要的朋友可以參考下2023-12-12
這篇文章主要介紹了Python如何對(duì)文件進(jìn)行重命名，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-06-06
Python numpy.zero() 初始化矩陣實(shí)例
今天小編就為大家分享一篇Python numpy.zero() 初始化矩陣實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-11-11
這篇文章主要介紹了python 非遞歸解決n皇后問(wèn)題的方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03
Python中uuid模塊生成唯一標(biāo)識(shí)符的方法詳解
這篇文章主要給大家介紹了關(guān)于Python中uuid模塊生成唯一標(biāo)識(shí)符的相關(guān)資料,uuid庫(kù)是Python標(biāo)準(zhǔn)庫(kù)中的一個(gè)功能強(qiáng)大的庫(kù),可以用于生成全局唯一標(biāo)識(shí)符(UUID),文中通過(guò)代碼介紹的非常詳細(xì),需要的朋友可以參考下2024-08-08
Python 繼承，重寫(xiě)，super()調(diào)用父類方法操作示例
這篇文章主要介紹了Python 繼承，重寫(xiě)，super()調(diào)用父類方法,結(jié)合完整實(shí)例形式詳細(xì)分析了Python面向?qū)ο蟪绦蛟O(shè)計(jì)中子類繼承與重寫(xiě)父類方法的相關(guān)操作技巧,需要的朋友可以參考下2019-09-09
Django多對(duì)多ManyToManyField字段的使用
Django是一個(gè)支持多對(duì)多關(guān)系的Web框架,可以在模型中定義多對(duì)多關(guān)系,本文主要介紹了Django多對(duì)多ManyToManyField字段的使用,感興趣的可以了解一下2023-12-12
python操作xls使用xlwings代提openpyxl基礎(chǔ)
這篇文章主要為大家介紹了python操作xls使用xlwings代提openpyxl示例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-08-08