控制使用python调用外部命令的子进程数

发布时间：2020-12-16 23:23:14 所属栏目：Python 来源：网络整理

导读：我明白使用 subprocess是调用外部命令的首选方式. 但是,如果我想在parall中运行几个命令,但是限制生成的进程数量呢？令我困扰的是我无法阻止子进程.例如,如果我打电话 subprocess.Popen(cmd,stderr=outputfile,stdout=outputfile) 然后,进程将继续,而不用等

我明白使用 subprocess是调用外部命令的首选方式.

但是,如果我想在parall中运行几个命令,但是限制生成的进程数量呢？令我困扰的是我无法阻止子进程.例如,如果我打电话

subprocess.Popen(cmd,stderr=outputfile,stdout=outputfile)

然后,进程将继续,而不用等待cmd完成.因此,我不能将其包装在多处理库的工作人员中.

例如,如果我这样做：

def worker(cmd): 
    subprocess.Popen(cmd,stdout=outputfile);

pool = Pool( processes = 10 );
results =[pool.apply_async(worker,[cmd]) for cmd in cmd_list];
ans = [res.get() for res in results];

那么每个工作人员将在产生一个子进程后完成并返回.所以我不能真正限制使用Pool生成的进程数.

限制子流程数量的正确方法是什么？

解决方法

如果要等待命令完成,可以使用subprocess.call.有关更多信息,请参阅 pydoc subprocess.

您也可以在工作人员中调用Popen.wait方法：

def worker(cmd): 
    p = subprocess.Popen(cmd,stdout=outputfile);
    p.wait()

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!