python process模塊的使用簡介

更新時(shí)間：2021年05月14日 15:18:21 作者：小楊-先生

在python中大部分情況需要使用多進(jìn)程，python提供了multiprocessing模塊。multiprocessing模塊的功能眾多：支持子進(jìn)程、通信和共享數(shù)據(jù)、執(zhí)行不同形式的同步，提供了Process、Queue、Pipe、Lock等組件。本文將著重講解process模塊的使用

process模塊

process模塊是一個(gè)創(chuàng)建進(jìn)程的模塊，借助這個(gè)模塊，就可以完成進(jìn)程的創(chuàng)建。

參數(shù)介紹：

Process（group=None, target=None, name=None, args=(), kwargs={}）

1 group——參數(shù)未使用，值始終為None
2 target——表示調(diào)用對(duì)象，即子進(jìn)程要執(zhí)行的任務(wù)
3 args——表示調(diào)用對(duì)象的位置參數(shù)元組，args=(1,2,'egon',)
4 kwargs——表示調(diào)用對(duì)象的字典,kwargs={'name':'egon','age':18}
5 name——為子進(jìn)程的名稱

方法介紹：

obj.start()：啟動(dòng)進(jìn)程，并調(diào)用該子進(jìn)程中的obj.run()
obj.run():進(jìn)程啟動(dòng)時(shí)運(yùn)行的方法，正是它去調(diào)用target指定的函數(shù)，我們自定義類的類中一定要實(shí)現(xiàn)該方法
obj.terminate():強(qiáng)制終止進(jìn)程obj，不會(huì)進(jìn)行任何清理操作，如果obj創(chuàng)建了子進(jìn)程，該子進(jìn)程就成了僵尸進(jìn)程，使用該方法需要特別小心這種情況。如果obj還保存了一個(gè)鎖那么也將不會(huì)被釋放，進(jìn)而導(dǎo)致死鎖
obj.is_alive():如果obj仍然運(yùn)行，返回True
obj.join([timeout]):主線程等待obj終止（強(qiáng)調(diào)：是主線程處于等的狀態(tài)，而obj是處于運(yùn)行的狀態(tài)）。timeout是可選的超時(shí)時(shí)間，需要強(qiáng)調(diào)的是，obj.join只能join住start開啟的進(jìn)程，而不能join住run開啟的進(jìn)程

屬性介紹：

obj.daemon：默認(rèn)值為False，如果設(shè)為True，代表obj為后臺(tái)運(yùn)行的守護(hù)進(jìn)程，當(dāng)obj的父進(jìn)程終止時(shí)，obj也隨之終止，并且設(shè)定為True后，obj不能創(chuàng)建自己的新進(jìn)程，必須在obj.start()之前設(shè)置
obj.name:進(jìn)程的名稱
obj.pid：進(jìn)程的pid
obj.exitcode:進(jìn)程在運(yùn)行時(shí)為None、如果為–N，表示被信號(hào)N結(jié)束(了解即可)
obj.authkey:進(jìn)程的身份驗(yàn)證鍵,默認(rèn)是由os.urandom()隨機(jī)生成的32字符的字符串。這個(gè)鍵的用途是為涉及網(wǎng)絡(luò)連接的底層進(jìn)程間通信提供安全性，這類連接只有在具有相同的身份驗(yàn)證鍵時(shí)才能成功（了解即可）

1、在python中啟動(dòng)一個(gè)子進(jìn)程

from multiprocessing import Process
import os

def func():
    print('這是一個(gè)子進(jìn)程——>進(jìn)程號(hào)：', os.getpid(), '  主進(jìn)程號(hào)：', os.getppid())


if __name__ == '__main__':
    print('這是主進(jìn)程——>進(jìn)程號(hào)：', os.getpid(), '  主進(jìn)程號(hào)（pycharm）：', os.getppid())
    # 實(shí)例化一個(gè)子進(jìn)程對(duì)象
    obj = Process(target=func)
    obj.start()     # 執(zhí)行子進(jìn)程對(duì)象
    print('執(zhí)行了完了主進(jìn)程的內(nèi)容')

# 輸出
這是主進(jìn)程——>進(jìn)程號(hào)： 3100   主進(jìn)程號(hào)（pycharm）： 6748
執(zhí)行了完了主進(jìn)程的內(nèi)容
這是一個(gè)子進(jìn)程——>進(jìn)程號(hào)： 2392   主進(jìn)程號(hào)： 3100

2、給子進(jìn)程傳遞參數(shù)

from multiprocessing import Process
import os


def func(name, age):
    print('這是一個(gè)子進(jìn)程——>進(jìn)程號(hào)：', os.getpid(), '  主進(jìn)程號(hào)：', os.getppid())
    print(f'這是一個(gè)子進(jìn)程——>我的名字是{name}，今年{age}')


if __name__ == '__main__':
    print('這是主進(jìn)程——>進(jìn)程號(hào)：', os.getpid(), '  主進(jìn)程號(hào)（pycharm）：', os.getppid())
    # 實(shí)例化一個(gè)子進(jìn)程對(duì)象
    obj = Process(target=func, args=('小楊', '18')) # args以元組的形式給子進(jìn)程func函數(shù)傳位置參數(shù)
                               # kwargs以字典的形式給子進(jìn)程func函數(shù)傳關(guān)鍵字參數(shù)
                               # kwargs={'name': '小楊', 'age': 18}
    obj.start()     # 執(zhí)行子進(jìn)程對(duì)象
    print('執(zhí)行了完了主進(jìn)程的內(nèi)容')
    
# 輸出
這是主進(jìn)程——>進(jìn)程號(hào)： 11936   主進(jìn)程號(hào)（pycharm）： 3676
執(zhí)行了完了主進(jìn)程的內(nèi)容
這是一個(gè)子進(jìn)程——>進(jìn)程號(hào)： 2996   主進(jìn)程號(hào)： 11936
這是一個(gè)子進(jìn)程——>我的名字是小楊，今年18

3、同時(shí)開多個(gè)子進(jìn)程

from multiprocessing import Process
import os


def func(name, age):
    print(f'這是一個(gè)子進(jìn)程——>進(jìn)程號(hào)：{os.getpid()},主進(jìn)程號(hào)：{os.getppid()},我的名字是{name}，今年{age}')


if __name__ == '__main__':
    print('這是主進(jìn)程——>進(jìn)程號(hào)：', os.getpid(), '  主進(jìn)程號(hào)（pycharm）：', os.getppid())
    count = [('小楊', 18), ('鮑勃', 20), ('艾倫', 55)]
    for lis in count:
        # 實(shí)例化一個(gè)子進(jìn)程對(duì)象
        obj = Process(target=func, args=lis)   # args以元組的形式給子進(jìn)程func函數(shù)傳位置參數(shù)
        obj.start()     # 執(zhí)行子進(jìn)程對(duì)象
    print('執(zhí)行了完了主進(jìn)程的內(nèi)容')
    
# 輸出
這是主進(jìn)程——>進(jìn)程號(hào)： 12632   主進(jìn)程號(hào)（pycharm）： 9220
執(zhí)行了完了主進(jìn)程的內(nèi)容
這是一個(gè)子進(jìn)程——>進(jìn)程號(hào)：10048,主進(jìn)程號(hào)：12632,我的名字是小楊，今年18
這是一個(gè)子進(jìn)程——>進(jìn)程號(hào)：16032,主進(jìn)程號(hào)：12632,我的名字是鮑勃，今年20
這是一個(gè)子進(jìn)程——>進(jìn)程號(hào)：12060,主進(jìn)程號(hào)：12632,我的名字是艾倫，今年55

4、join的用法

obj.join([timeout]): 主進(jìn)程等待子進(jìn)程obj終止（強(qiáng)調(diào)：是主進(jìn)程處于等的狀態(tài)，而子進(jìn)程obj是處于運(yùn)行的狀態(tài)）。timeout是可選的超時(shí)時(shí)間，需要強(qiáng)調(diào)的是，obj.join只能join住start開啟的進(jìn)程，而不能join住run開啟的進(jìn)程

多個(gè)進(jìn)程同時(shí)運(yùn)行（注意，子進(jìn)程的執(zhí)行順序不是根據(jù)啟動(dòng)順序決定的）

join——>屬于同步阻塞：

同步：在做A事件的時(shí)候發(fā)起B(yǎng)事件，必須等待B事件結(jié)束后才能繼續(xù)做A事件

阻塞：CPU不工作——>input accept recv recvfrom sleep connect......

start——>屬于異步非阻塞：

異步：在做A事件的時(shí)候發(fā)起B(yǎng)事件，不用等待B事件結(jié)束就可以繼續(xù)A事件

非阻塞：CPU在工作（非輸入輸出階段I/O）

from multiprocessing import Process
import random
import time


def mail(name, age):
    count = random.random()
    print(f'給{age}歲的{name}發(fā)了一封郵件！延遲{count}秒')
    time.sleep(count)      # 模擬網(wǎng)絡(luò)延遲
    """
    多個(gè)進(jìn)程同時(shí)運(yùn)行（注意，子進(jìn)程的執(zhí)行順序不是根據(jù)啟動(dòng)順序決定的）
    """


if __name__ == '__main__':
    info_list = [('小楊', 18), ('鮑勃', 20), ('艾倫', 55)]
    jo = []
    for info in info_list:
        obj = Process(target=mail, args=info)
        obj.start()
        jo.append(obj)

    # 將所有的子進(jìn)程全部放入jo列表，在循環(huán)join所有子進(jìn)程，就能等待所有子進(jìn)程結(jié)束后在做操作
    for o in jo:
        o.join()

    # 所有的子進(jìn)程結(jié)束的操作
    print('全部發(fā)送完畢')
    
# 輸出
給20歲的鮑勃發(fā)了一封郵件！延遲0.19840279388911186秒
給18歲的小楊發(fā)了一封郵件！延遲0.8891892863366903秒
給55歲的艾倫發(fā)了一封郵件！延遲0.0434307277609951秒
全部發(fā)送完畢

5、多進(jìn)程之間的數(shù)據(jù)是否隔離

from multiprocessing import Process

count = 1

def func():
    global count
    count += 1

if __name__ == '__main__':
    for i in range(10):
        obj = Process(target=func)
        obj.start()
    print(count)        # ————>1 主進(jìn)程的count沒有被改變說明進(jìn)程之間的數(shù)據(jù)時(shí)隔離的
    
# 輸出
1