数组的方法 Python多进程共享numpy

Python多进程共享numpy,数组的方法,博智网带你了解详细信息。
为什么要用numpy Python中提供了list容器，可以当作数组使用。但列表中的元素可以是任何对象，因此列表中保存的是对象的指针，这样一来，为了保存一个简单的列表[1,2,3] 。就需要三个指针和三个整数对象。对于数值运算来说，这种结构显然不够高效。
Python虽然也提供了array模块，但其只支持一维数组，不支持多维数组(在TensorFlow里面偏向于矩阵理解)，也没有各种运算函数。因而不适合数值运算。
NumPy的出现弥补了这些不足。
引用：https://zhuanlan.zhihu.com/p/32513483
共享 numpy 数组需要用到 numpy 时往往是数据量较大的场景，如果直接复制会造成大量内存浪费。共享 numpy 数组则是通过上面一节的 Array 实现，再用 numpy.frombuffer 以及 reshape 对共享的内存封装成 numpy 数组，代码如下：
# encoding:utf8import ctypesimport osimport multiprocessingimport numpy as npNUM_PROCESS = multiprocessing.cpu_count()def worker(index):main_nparray = np.frombuffer(shared_array_base, dtype=ctypes.c_double)main_nparray = main_nparray.reshape(NUM_PROCESS, 10)pid = os.getpid()main_nparray[index, :] = pidreturn pidif __name__ == "__main__":shared_array_base = multiprocessing.Array(ctypes.c_double, NUM_PROCESS * 10, lock=False)pool = multiprocessing.Pool(processes=NUM_PROCESS)result = pool.map(worker, range(NUM_PROCESS))main_nparray = np.frombuffer(shared_array_base, dtype=ctypes.c_double)main_nparray = main_nparray.reshape(NUM_PROCESS, 10)print( main_nparray )
运行结果：

【数组的方法 Python多进程共享numpy】到此这篇关于Python多进程共享numpy 数组的方法的文章就介绍到这了,更多相关Python多进程共享numpy 数组内容请搜索趣讯吧以前的文章或继续浏览下面的相关文章希望大家以后多多支持趣讯吧！

数组的方法 Python多进程共享numpy

推荐阅读

课程标准包括哪些内容

怎么养威灵仙

角鲨烷有修复的功效吗

英语答题的技巧与方法英语答题的技巧与方法三长一短

三毛为什么要写不死鸟

描写诺言的格言

揭开荷花隐藏的秘密荷花的象征和风水意义

aj11偏大还是偏小

玫瑰花语的意义与心理效应玫瑰花语与寓意的传承与演变

小暑和大暑有什么区别小暑大暑是什么意思