Python多处理子流程问题
发布时间:2020-12-20 13:27:10 所属栏目:Python 来源:网络整理
导读:我有一个二进制文件(例如a.out),我想用不同的配置调用.我想在40核机器上并行运行这些配置.下面是我的代码草图. 它非常简单:我生成一个配置并传入worker,并且worker使用subprocess使用config调用二进制文件.我也将输出重定向到文件.我们将这段代码称为run.py
我有一个二进制文件(例如a.out),我想用不同的配置调用.我想在40核机器上并行运行这些配置.下面是我的代码草图.
它非常简单:我生成一个配置并传入worker,并且worker使用subprocess使用config调用二进制文件.我也将输出重定向到文件.我们将这段代码称为run.py def worker(cmdlist,filename): outputfile = open(filename,'wb') // here it essentially executes a.out config > outputfile subprocess.call(cmdlist,stderr=outputfile,stdout=outputfile) outputfile.close() def main(): pool = Pool(processes = 40) for config in all_configs filename,cmdlist = genCmd(config) res = pool.apply_async(worker,[cmdlist,filename]) results.append(res) for res in results: res.get() pool.close() 但是在我开始之后,我意识到我并没有像我想的那样产生尽可能多的进程.我绝对提交了超过40名工人,但在顶部,我只看到了大约20个a.out. 我确实看到许多处于“休眠”状态的run.py(即顶部的“S”).当我做一个ps auf时,我也看到很多run.py处于“S”状态,没有二进制生成.只有大约一半的人产生了“a.out” 我在想,为什么会这样?我将输出重定向到网络安装的硬盘驱动器,这可能是一个原因,但在顶部我只看到10%wa(在我的理解中,10%的时间等待IO).我不认为这导致50%的空闲CPU.另外,我至少应该生成二进制文件,而不是卡在run.py.我的二进制文件的运行时间也足够长.我应该看到很长时间内有40个工作岗位. 还有其他解释吗?我在python代码中做错了什么? 解决方法
我用来在多个核上同时运行许多同时进程的方法是使用p = subprocess.Popen(…)和p.Poll().在你的情况下,我认为你可以完全跳过使用池.我会给你一个更好的例子但不幸的是我再也无法访问该代码了.
(编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |