我需要在Python多处理环境中使用高效的共享字典

发布时间：2020-12-16 21:29:53 所属栏目：Python 来源：网络整理

导读：我使用 Python的多处理包实现了一个生产者多用户模式.消费者应该将结果放在字典中.这本词典的关键是单词,值是大Scipy稀疏矩阵.每个消费者将其看到的每个单词的值添加到共享字典中该单词的主向量. 我使用Manager.dict()来实现这个共享字典,但速度非常慢.每个

我使用 Python的多处理包实现了一个生产者多用户模式.消费者应该将结果放在字典中.这本词典的关键是单词,值是大Scipy稀疏矩阵.每个消费者将其看到的每个单词的值添加到共享字典中该单词的主向量.

我使用Manager.dict()来实现这个共享字典,但速度非常慢.每个进程的cpu-utilization约为15％,它比单个进程好一点.
每个使用者从共享字典中提取项目,将稀疏矩阵添加到该项目的值并更新共享字典中的项目.

有没有更有效的解决方案？

解决方法

import memcache

memc = memcache.Client(['127.0.0.1:11211'],debug=1);
memc.set('top10candytypes',{1 : 2,"3" : [4,5,6]})

bestCandy = memc.get('top10candytypes')
print(bestCandy)

我不是memcache的专家,因为我刚刚开始自己??使用它.但是如果你有多个线程需要访问相同的数据,或者如果你只是需要有效地存储东西而不会耗尽ram,它就会很方便.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!