使用python多处理功能与函数共享信号量

发布时间：2020-12-20 13:14:37 所属栏目：Python 来源：网络整理

导读：我想通过将信号量传递给函数来同步对 python multiprocessing.Pool中多个worker的共享资源的访问.这是一些伪代码. def do_work(payload,semaphore): with semaphore: access_the_shared_resource(payload) 函数do_work在库中定义,这样我就无法在本地范围内定

我想通过将信号量传递给函数来同步对 python multiprocessing.Pool中多个worker的共享资源的访问.这是一些伪代码.

def do_work(payload,semaphore):
    with semaphore:
        access_the_shared_resource(payload)

函数do_work在库中定义,这样我就无法在本地范围内定义函数可以继承的信号量.我也不能使用functools.partial传递信号量,因为多处理试图腌制不允许的信号量.似乎有用的是使用multiprocessing.Manager来创建信号量的代理：

manager = multiprocessing.Manager()
semaphore = manager.Semaphore()

with multiprocessing.Pool() as pool:
    results = pool.map(functools.partial(do_work,semaphore=semaphore),payloads)

这是最好的方法还是我错过了明显的解决方案？

解决方法

您唯一的另一个选择是使用初始化程序和initargs在池创建时将常规多处理.Semaphore传递给每个工作进程,并将其用作全局变量：

semaphore = None
def do_work(payload):
    with semaphore:
        return payload

def init(sem):
    global semaphore
    semaphore = sem

if __name__ == "__main__":
    sem = multiprocessing.Semaphore()
    with multiprocessing.Pool(initializer=init,initargs=(sem,)) as p:
        results = p.map(do_work,payloads)

您在父项中定义的全局信号量变量将设置为每个子进程中的multiprocessing.Semaphore().

使用manager.Semaphore()很好,虽然它确实需要产生额外的Python进程.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!