python – 在进程对象之间共享SciPy稀疏数组

发布时间：2020-12-16 21:36:56 所属栏目：Python 来源：网络整理

导读：我最近一直在学习 Python多处理,并遇到了障碍.我有一个稀疏的SciPy数组(CSC格式),我需要在5个工作进程之间以只读格式共享.我读过 this和 this(numpy-shared),但这似乎只适用于密集类型. 如何在不复制(或使用最少复制)5个多处理过程对象的情况下共享scipy.spa

我最近一直在学习 Python多处理,并遇到了障碍.我有一个稀疏的SciPy数组(CSC格式),我需要在5个工作进程之间以只读格式共享.我读过 this和 this(numpy-shared),但这似乎只适用于密集类型.

如何在不复制(或使用最少复制)5个多处理过程对象的情况下共享scipy.sparse.csc_matrix()？即使是numpy-shared方法似乎也需要复制整个数组,即便如此,我也不能将scipy.sparse转换为mp.Array().任何人都可以帮我指出正确的方向吗？

谢谢！

解决方法

我无法帮助您处理问题的多处理部分,但CSC稀疏矩阵只是三个numpy数组.您可以实例化另一个稀疏矩阵b,通过执行以下操作来共享与稀疏矩阵相同的内存对象：

import scipy.sparse as sps

b = sps.csc_matrix((a.data,a.indices,a.indptr),shape=a.shape,copy=False)

a.data,a.indices和a.indptr是你想要在你的进程之间共享的三个numpy数组,如果你能这样做,那么在每个进程中实例化一个稀疏矩阵将是一个廉价的操作.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!