快捷導(dǎo)航

Python多進(jìn)程共享numpy 數(shù)組的方法

更新時(shí)間：2021年07月29日 14:20:00 作者：Hello_BeautifulWorld

這篇文章主要介紹了Python多進(jìn)程共享numpy 數(shù)組的方法，本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下

為什么要用numpy

    Python中提供了list容器，可以當(dāng)作數(shù)組使用。但列表中的元素可以是任何對象，因此列表中保存的是對象的指針，這樣一來，為了保存一個(gè)簡單的列表[1,2,3]。就需要三個(gè)指針和三個(gè)整數(shù)對象。對于數(shù)值運(yùn)算來說，這種結(jié)構(gòu)顯然不夠高效。
    Python雖然也提供了array模塊，但其只支持一維數(shù)組，不支持多維數(shù)組(在TensorFlow里面偏向于矩陣?yán)斫?，也沒有各種運(yùn)算函數(shù)。因而不適合數(shù)值運(yùn)算。
    NumPy的出現(xiàn)彌補(bǔ)了這些不足。

引用：https://zhuanlan.zhihu.com/p/32513483

共享 numpy 數(shù)組

需要用到 numpy 時(shí)往往是數(shù)據(jù)量較大的場景，如果直接復(fù)制會(huì)造成大量內(nèi)存浪費(fèi)。共享 numpy 數(shù)組則是通過上面一節(jié)的 Array 實(shí)現(xiàn)，再用 numpy.frombuffer 以及 reshape 對共享的內(nèi)存封裝成 numpy 數(shù)組，代碼如下：

# encoding:utf8
import ctypes
import os
import multiprocessing

import numpy as np

NUM_PROCESS = multiprocessing.cpu_count()


def worker(index):
    main_nparray = np.frombuffer(shared_array_base, dtype=ctypes.c_double)
    main_nparray = main_nparray.reshape(NUM_PROCESS, 10)
    pid = os.getpid()
    main_nparray[index, :] = pid
    return pid


if __name__ == "__main__":
    shared_array_base = multiprocessing.Array(
        ctypes.c_double, NUM_PROCESS * 10, lock=False)
    pool = multiprocessing.Pool(processes=NUM_PROCESS)
    result = pool.map(worker, range(NUM_PROCESS))
    main_nparray = np.frombuffer(shared_array_base, dtype=ctypes.c_double)
    main_nparray = main_nparray.reshape(NUM_PROCESS, 10)
    print( main_nparray )

運(yùn)行結(jié)果：

到此這篇關(guān)于Python多進(jìn)程共享numpy 數(shù)組的方法的文章就介紹到這了,更多相關(guān)Python多進(jìn)程共享numpy 數(shù)組內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

相關(guān)文章

Python logging模塊用法示例
這篇文章主要介紹了Python logging模塊用法,結(jié)合實(shí)例形式分析了Python logging模塊相關(guān)配置、函數(shù)、組件等操作方法與注意事項(xiàng),需要的朋友可以參考下
2018-08-08
對pandas進(jìn)行數(shù)據(jù)預(yù)處理的實(shí)例講解
下面小編就為大家分享一篇對pandas進(jìn)行數(shù)據(jù)預(yù)處理的實(shí)例講解，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-04-04
Python表格數(shù)據(jù)處理庫之tablib庫詳解
這篇文章主要介紹了Python表格數(shù)據(jù)處理庫之tablib庫詳解,Tablib是一個(gè)用于處理電子表格數(shù)據(jù)的Python庫，它可以輕松地進(jìn)行數(shù)據(jù)的導(dǎo)入和導(dǎo)出，以及數(shù)據(jù)格式的轉(zhuǎn)換,需要的朋友可以參考下
2023-08-08
Python如何將圖像音視頻等資源文件隱藏在代碼中(小技巧)
有朋友問小編使用pyinstaller打包源碼時(shí)，因?yàn)榇a中使用了圖像、音頻、視頻等資源文件，無法將程序打包成單一的可執(zhí)行文件，怎么處理呢，下面小編通過代碼給大家介紹Python如何將圖像音視頻等資源文件隱藏在代碼中，感興趣的朋友一起看看吧
2020-02-02
TensorFlow搭建神經(jīng)網(wǎng)絡(luò)最佳實(shí)踐
這篇文章主要為大家詳細(xì)介紹了TensorFlow搭建神經(jīng)網(wǎng)絡(luò)最佳實(shí)踐，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2018-03-03
python閉包、深淺拷貝、垃圾回收、with語句知識點(diǎn)匯總
在本篇文章里小編給大家整理了關(guān)于python閉包、深淺拷貝、垃圾回收、with語句知識點(diǎn)匯總，有興趣的朋友們學(xué)習(xí)下。
2020-03-03
通過Python中的http.server搭建文件上傳下載服務(wù)功能
通過本文我們學(xué)習(xí)了如何使用Python的http.server模塊搭建一個(gè)基本的HTTP服務(wù)器,并實(shí)現(xiàn)文件下載服務(wù),介紹了如何設(shè)置服務(wù)器端口、自定義文件目錄、定制HTTP響應(yīng)頭以及處理GET請求,感興趣的朋友跟隨小編一起看看吧
2024-08-08
Python使用pylab庫實(shí)現(xiàn)繪制直方圖功能示例
這篇文章主要介紹了Python使用pylab庫實(shí)現(xiàn)繪制直方圖功能,結(jié)合實(shí)例形式分析了Python數(shù)據(jù)讀取、遍歷以及基于pylab庫繪制直方圖的相關(guān)操作技巧,需要的朋友可以參考下
2018-06-06
基于opencv和pillow實(shí)現(xiàn)人臉識別系統(tǒng)(附demo)
人臉識別就是一個(gè)程序能識別給定圖像或視頻中的人臉，本文主要介紹了opencv和pillow實(shí)現(xiàn)人臉識別系統(tǒng)，本文不涉及分類器、訓(xùn)練識別器等算法原理，感興趣的可以了解一下
2021-11-11
python利用xpath爬取網(wǎng)上數(shù)據(jù)并存儲(chǔ)到django模型中
這篇文章主要介紹了python利用xpath爬取網(wǎng)上數(shù)據(jù)并存儲(chǔ)到django模型中,本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2021-02-02