加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 编程开发 > Python > 正文

Python多处理子流程问题

发布时间:2020-12-20 13:27:10 所属栏目:Python 来源:网络整理
导读:我有一个二进制文件(例如a.out),我想用不同的配置调用.我想在40核机器上并行运行这些配置.下面是我的代码草图. 它非常简单:我生成一个配置并传入worker,并且worker使用subprocess使用config调用二进制文件.我也将输出重定向到文件.我们将这段代码称为run.py
我有一个二进制文件(例如a.out),我想用不同的配置调用.我想在40核机器上并行运行这些配置.下面是我的代码草图.

它非常简单:我生成一个配置并传入worker,并且worker使用subprocess使用config调用二进制文件.我也将输出重定向到文件.我们将这段代码称为run.py

def worker(cmdlist,filename):
    outputfile = open(filename,'wb')
    // here it essentially executes  a.out config > outputfile
    subprocess.call(cmdlist,stderr=outputfile,stdout=outputfile) 
    outputfile.close()

def main():
    pool = Pool(processes = 40)
    for config in all_configs
        filename,cmdlist = genCmd(config)
        res = pool.apply_async(worker,[cmdlist,filename])
        results.append(res)
    for res in results:
        res.get()
    pool.close()

但是在我开始之后,我意识到我并没有像我想的那样产生尽可能多的进程.我绝对提交了超过40名工人,但在顶部,我只看到了大约20个a.out.

我确实看到许多处于“休眠”状态的run.py(即顶部的“S”).当我做一个ps auf时,我也看到很多run.py处于“S”状态,没有二进制生成.只有大约一半的人产生了“a.out”

我在想,为什么会这样?我将输出重定向到网络安装的硬盘驱动器,这可能是一个原因,但在顶部我只看到10%wa(在我的理解中,10%的时间等待IO).我不认为这导致50%的空闲CPU.另外,我至少应该生成二进制文件,而不是卡在run.py.我的二进制文件的运行时间也足够长.我应该看到很长时间内有40个工作岗位.

还有其他解释吗?我在python代码中做错了什么?

解决方法

我用来在多个核上同时运行许多同时进程的方法是使用p = subprocess.Popen(…)和p.Poll().在你的情况下,我认为你可以完全跳过使用池.我会给你一个更好的例子但不幸的是我再也无法访问该代码了.

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读