背景

当前的项目需要对大型 numpy 数组进行各种运算（不是深度学习的那种运算），实践发现只开一个 python 进程时，只能使用一个 CPU 核心。所以考虑使用 multiprocessing 模块进行多进程运算。

但是，问题也很明显：用的是 multiprocessing.pool，如果我的 pool 的 size 是 4，一个 GB 级的 ndarray 传给 pool，会复制 4 份到每一个子进程。这首先会在传输时花时间做相应的 pickle 和 unpickle 操作；更重要的是，这坨数据会在内存里复制 4 份——这直接导致能处理的最大数据大小缩小了四分之三。

本文使用的 Python 版本为 3.6 / 3.7，Windows 系统。
在 3.8 版本中，新加入了 multiprocessing.shared_memory 模块，应该能简化这个问题。但是目前为止，项目使用的部分包还不支持 3.8，所以仍需要在旧版本中解决这个问题。

Value 与 Array

在 multiprocessing 包中，提供了一些可共享的对象：Value、Array、RawValue 与 RawArray。基本上，前者没有 Raw 的，可以加锁以进行进程间同步，后面 Raw 的没有锁。项目中用到的 numpy 数组都是只读的，子进程只需要读不需要写，所以选择使用 RawArray。