Python使用multiprocessing實現(xiàn)多進程

更新時間：2025年07月21日 09:35:04 作者：黑鹿022

當我們工作中涉及到處理大量數(shù)據(jù)、并行計算或并發(fā)任務時,Python的multiprocessing模塊是一個強大而實用的工具,在本文中,我們將探索如何使用multiprocessing模塊實現(xiàn)多進程編程,將介紹進程池的概念和用法,需要的朋友可以參考下

一、進程概念

進程（Process）是資源分配的最小單位，它是操作系統(tǒng)進行資源分配和調(diào)度運行的基本單位，通俗理解：一個正在運行的程序就是一個進程。

注：一個程序運行后至少有一個進程

二、python多進程

在python中使用多進程我們需要導入 multiprocessing 模塊

import multiprocessing

實例演示：

我們先定義兩個函數(shù)，然后創(chuàng)建子進程去調(diào)用它們

import time

def mission1(n):
    for i in range(1, n + 1):
        print(f'第{i}次執(zhí)行任務一。')
        time.sleep(0.2)


def mission2(n):
    for i in range(1, n + 1):
        print(f"第{i}次執(zhí)行任務二。")
        time.sleep(0.2)

每個函數(shù)每次循環(huán)都sleep 0.2秒目的是為了之后演示進程之間是同步執(zhí)行的情況，否則程序運行太快沒辦法體現(xiàn)。

我們先試著直接調(diào)用它們：

mission1(5)
mission2(5)
"""
結(jié)果：
第1次執(zhí)行任務一。
第2次執(zhí)行任務一。
第3次執(zhí)行任務一。
第4次執(zhí)行任務一。
第5次執(zhí)行任務一。
第1次執(zhí)行任務二。
第2次執(zhí)行任務二。
第3次執(zhí)行任務二。
第4次執(zhí)行任務二。
第5次執(zhí)行任務二。
"""

結(jié)果：先執(zhí)行了mission1 再執(zhí)行了mission2

子進程依賴于父進程創(chuàng)建，因而我們要創(chuàng)建兩個子進程，那么必須在父進程里面去創(chuàng)建。
python運行文件的時候會創(chuàng)建一個主進程也就是 MainProcess，因而我們必須在main里面去操作子進程：

if __name__ == '__main__':
		pass

接著我們創(chuàng)建子進程對象：

if __name__ == '__main__':
    p1 = multiprocessing.Process(target=mission1,  args=(5,))
    p2 = multiprocessing.Process(target=mission2,  kwargs={'n': 5})

multiprocessing.Process(group=None, target=None, name=None, args=(), kwargs={}) ：
target—表示調(diào)用對象，即子進程要執(zhí)行的任務（回調(diào)函數(shù)入口地址）
args—表示以元組的形式向子任務函數(shù)傳參，元組方式傳參一定要和參數(shù)的順序保持一致
kwargs—表示以字典的方式給子任務函數(shù)傳參，字典方式傳參字典中的key要和參數(shù)名保持一致
name—為子進程的名稱

進程運行：

p1.start()
p2.start()

完整代碼：

import multiprocessing

import time

def mission1(n):
    for i in range(1, n + 1):
        print(f'第{i}次執(zhí)行任務一。')
        time.sleep(0.2)


def mission2(n):
    for i in range(1, n + 1):
        print(f"第{i}次執(zhí)行任務二。")
        time.sleep(0.2)


if __name__ == '__main__':
    p1 = multiprocessing.Process(target=mission1,  args=(5,)) # 注意單元素的元組格式
    p2 = multiprocessing.Process(target=mission2,  kwargs={'n': 5})

    p1.start()
    p2.start()
 
"""
結(jié)果：
第1次執(zhí)行任務一。
第1次執(zhí)行任務二。
第2次執(zhí)行任務一。
第2次執(zhí)行任務二。
第3次執(zhí)行任務一。
第3次執(zhí)行任務二。
第4次執(zhí)行任務一。
第4次執(zhí)行任務二。
第5次執(zhí)行任務一。
第5次執(zhí)行任務二。
"""

結(jié)果顯示：兩個函數(shù)在兩個子進程中同時執(zhí)行。（每次執(zhí)行順序可能有略微差別）

獲取進程信息

current_process()

獲取當前進程的信息：name(進程名稱) 和 pid (進程ID)

def mission1(user, n):
    print(f"mission-1子進程：{multiprocessing.current_process().name}")
    print(f"mission-1子進程ID：{multiprocessing.current_process().pid}")
    for i in range(1, n + 1):
        print(f"用戶{user}正在第{i}次執(zhí)行任務一。")
        time.sleep(0.2)

OS 模塊

可以使用os模塊中的getpid()獲取當前進程的ID 以及 getppid()獲取當前進程的父進程ID。

import os
def mission2(user, n):
    print(f"mission-2子進程：{multiprocessing.current_process().name}")
    print(f"mission-2子進程ID：{os.getpid()}")
    print(f"mission-2子進程的父進程為：{os.getppid()}")
    for i in range(1, n + 1):
        print(f"用戶{user}正在第{i}次執(zhí)行任務二。")
        time.sleep(0.2)

完整代碼：

import multiprocessing
import time
import os


def mission1(user, n):
    print(f"mission-1子進程：{multiprocessing.current_process().name}")
    print(f"mission-1子進程ID：{multiprocessing.current_process().pid}")
    print(f"mission-1子進程的父進程為：{os.getppid()}")
    for i in range(1, n + 1):
        print(f"用戶{user}正在第{i}次執(zhí)行任務一。")
        time.sleep(0.2)


def mission2(user, n):
    print(f"mission-2子進程：{multiprocessing.current_process().name}")
    print(f"mission-2子進程ID：{os.getpid()}")
    print(f"mission-2子進程的父進程為：{os.getppid()}")
    for i in range(1, n + 1):
        print(f"用戶{user}正在第{i}次執(zhí)行任務二。")
        time.sleep(0.2)

if __name__ == '__main__':
    print(f"主進程的ID為：{multiprocessing.current_process().pid}")
    print(f"主進程的父進程ID為：{os.getppid()}")
    print(f'--------主進程{multiprocessing.current_process().name}開始執(zhí)行--------')

    p1=multiprocessing.Process(target=mission1,name='mission-1',args=('張三',5))
    p2=multiprocessing.Process(target=mission2,name='mission-2',args=('李四',5))

    p1.start()
    p2.start()
"""
主進程的ID為：7500
主進程的父進程ID為：39284
--------主進程MainProcess開始執(zhí)行--------
mission-2子進程：mission-2
mission-2子進程ID：40552
mission-2子進程的父進程為：7500
用戶李四正在第1次執(zhí)行任務二。
mission-1子進程：mission-1
mission-1子進程ID：46296
mission-1子進程的父進程為：7500
用戶張三正在第1次執(zhí)行任務一。
用戶李四正在第2次執(zhí)行任務二。
用戶張三正在第2次執(zhí)行任務一。
用戶李四正在第3次執(zhí)行任務二。
用戶張三正在第3次執(zhí)行任務一。
用戶李四正在第4次執(zhí)行任務二。
用戶張三正在第4次執(zhí)行任務一。
用戶李四正在第5次執(zhí)行任務二。
用戶張三正在第5次執(zhí)行任務一。

"""

兩個子進程的父ID是相同的就是MainProcess這個主進程的ID

三、進程特點

多進程之間不會共享全局變量
主進程會默認等待子進程結(jié)束而結(jié)束但可以通過設置來讓子進程跟著主進程結(jié)束而結(jié)束

正常情況：

import multiprocessing
import time

def mission1(user, n):
    for i in range(1, n + 1):
        print(f"用戶{user}正在第{i}次執(zhí)行任務一。")
        time.sleep(0.1)

if __name__ == '__main__':
    print(f'--------主進程{multiprocessing.current_process().name}開始執(zhí)行--------')
    p1 = multiprocessing.Process(target=mission1, name='mission-1', args=('張三', 5))
    p1.start()
    time.sleep(0.4) # 讓主進程多執(zhí)行一會兒
    print(f'----------主進程:{multiprocessing.current_process().name}最后一行代碼執(zhí)行完畢---------')

"""
--------主進程MainProcess開始執(zhí)行--------
用戶張三正在第1次執(zhí)行任務一。
用戶張三正在第2次執(zhí)行任務一。
----------主進程:MainProcess最后一行代碼執(zhí)行完畢---------
用戶張三正在第3次執(zhí)行任務一。
用戶張三正在第4次執(zhí)行任務一。
用戶張三正在第5次執(zhí)行任務一。
"""

正常情況下，主進程（最后一行代碼執(zhí)行完了）仍然會等待子進程(p1 mission-1)執(zhí)行完畢.

使用守護進程或者終止進程

import multiprocessing
import time


def mission1(user, n):
    for i in range(1, n + 1):
        print(f"用戶{user}正在第{i}次執(zhí)行任務一。")
        time.sleep(0.1)


if __name__ == '__main__':
    print(f'--------主進程{multiprocessing.current_process().name}開始執(zhí)行--------')

    p1 = multiprocessing.Process(target=mission1, name='mission-1', args=('張三', 5))
    # 方式1: 開啟子進程前提前設置守護主進程
    p1.daemon = True
    p1.start()
    time.sleep(0.4)  # 讓主進程多執(zhí)行一會兒
    # p1.terminate()
    print(f'----------主進程:{multiprocessing.current_process().name}最后一行代碼執(zhí)行完畢---------')

"""
--------主進程MainProcess開始執(zhí)行--------
用戶張三正在第1次執(zhí)行任務一。
用戶張三正在第2次執(zhí)行任務一。
----------主進程:MainProcess最后一行代碼執(zhí)行完畢---------
"""

我們發(fā)現(xiàn)子進程還沒執(zhí)行結(jié)束就被終止了。