python使用 multiprocessing 多進程處理批量數(shù)據(jù)的示例代碼
更新時間：2023年09月11日 11:20:04 作者：DexterLien
這篇文章主要介紹了使用 multiprocessing 多進程處理批量數(shù)據(jù)的示例代碼,本文通過示例代碼給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
示例代碼
import multiprocessing
def process_data(data):
# 這里是處理單個數(shù)據(jù)的過程
return data * 2
# 待處理的數(shù)據(jù)
data = [1, 2, 3, 4, 5]
def normal_func():
# 普通處理方式
result = []
for obj in data:
result.append(process_data(obj)
return result
def parallel_func():
# 多進程處理方式
pool = multiprocessing.Pool(multiprocessing.cpu_count())
result = pool.map(process_data, data)
pool.close()
return result
if __name__ == '__main__':
result = normal_func()
result = parallel_func()multiprocessing.Pool 創(chuàng)建進程池, 傳入的參數(shù)是要要使用的 CPU 內(nèi)核數(shù)量, 直接用 cpu_count() 可以拿到當前硬件配置所有的 CPU 內(nèi)核數(shù).
pool.map 可以直接將處理后的結(jié)果拼接成一個 list 對象
應用在實際數(shù)據(jù)處理代碼的效果對比:
普通處理方式, 用時 221 秒
多進程處理方式, 用時 39 秒, 節(jié)省了 82% 的時間
到此這篇關(guān)于使用 multiprocessing 多進程處理批量數(shù)據(jù)的文章就介紹到這了,更多相關(guān) multiprocessing 多進程處理批量數(shù)據(jù)內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要介紹了Python3操作CSV文件使用包過程解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-04-04
PyQt5基本控件使用之消息彈出、用戶輸入、文件對話框的使用方法
本文主要介紹PyQt界面實現(xiàn)中常用的消息彈出對話框、提供用戶輸入的輸入框、打開文件獲取文件/目錄路徑的文件對話框。 本文主要針對這三種控件的主要場景進行介紹。感興趣的朋友跟隨小編一起看看吧2019-08-08
在日常辦公中,處理Word、Excel和PDF等Office文檔是再常見不過的任務,手動操作這些文檔不僅耗時耗力,還容易出錯,幸運的是,Python提供了豐富的庫,使得自動化處理這些文檔變得輕松高效,本文將通過通俗易懂的表達方式,帶你領(lǐng)略Python自動化Office文檔處理的魅力2025-02-02
這篇文章主要介紹了python代碼xml轉(zhuǎn)txt實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03
keras中epoch,batch,loss,val_loss用法說明
這篇文章主要介紹了keras中epoch,batch,loss,val_loss用法說明，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-07-07
其實我們平時拍攝的照片里,隱藏了大量的信息,下面這篇文章主要給大家介紹了關(guān)于如何用python獲取到照片拍攝時的詳細位置,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下2022-12-12
這篇文章主要介紹了基于Pytorch的可視化工具,Pytorch是一款Python優(yōu)先的深度學習框架,需要的朋友可以參考下2023-04-04
利用Python計算質(zhì)數(shù)與完全數(shù)的方法實例
這篇文章主要介紹了利用Python計算質(zhì)數(shù)與完全數(shù)的相關(guān)資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-03-03
今天小編就為大家分享一篇Python使用requests提交HTTP表單的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12
Python數(shù)據(jù)庫編程之pymysql詳解
本文主要介紹了Python數(shù)據(jù)庫編程中pymysql，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-05-05