使用mpi4py在脚本中调用子进程

基本上,我想使用我的脚本,以便每个核心准备一些输入文件,以便在单独的文件夹中进行计算,然后在此文件夹中启动外部程序,等待输出,最后,读取结果并收集它们.

但是,我根本无法让外部程序调用工作.在我寻找这个问题的解决方案时,我发现我面临的问题似乎是非常基础的.以下简单示例清楚地说明了这一点：

#!/usr/bin/env python
import subprocess

subprocess.call(“EXTERNAL_PROGRAM”,shell=True)
subprocess.call(“echo test”,shell=True)

./script.py工作正常(两个调用工作),而mpirun -np 1 ./script.py只输出测试.这种情况有没有解决方法？该程序肯定在我的PATH中,但如果我使用该通话的绝对路径,它也会失败.

This SO question seems to be related,sadly there are no answers…

编辑：

在我的问题的原始版本中,我没有包含使用mpi4py的任何代码,即使我在标题中提到了这个模块.所以这里是一个更详细的代码示例：

#!/usr/bin/env python

import os
import subprocess

from mpi4py import MPI


def worker(parameter=None):
    """Make new folder,cd into it,prepare the config files and execute the
    external program."""

    cwd = os.getcwd()
    dir = "_calculation_" + parameter
    dir = os.path.join(cwd,dir)
    os.makedirs(dir)
    os.chdir(dir)

    # Write input for simulation & execute
    subprocess.call("echo {} > input.cfg".format(parameter),shell=True)
    subprocess.call("EXTERNAL_PROGRAM",shell=True)

    # After the program is finished,do something here with the output files
    # and return the data. I'm using the input parameter as a dummy variable
    # for the processed output.
    data = parameter

    os.chdir(cwd)

    return data


def run_parallel():
    """Iterate over job_args in parallel."""

    comm = MPI.COMM_WORLD
    size = comm.Get_size()
    rank = comm.Get_rank()

    if rank == 0:
        # Here should normally be a list with many more entries,subdivided
        # among all the available cores. I'll keep it simple here,so one has
        # to run this script with mpirun -np 2 ./script.py
        job_args = ["a","b"]
    else:
        job_args = None

    job_arg = comm.scatter(job_args,root=0)
    res = worker(parameter=job_arg)
    results = comm.gather(res,root=0)

    print res
    print results

if __name__ == '__main__':
    run_parallel()

不幸的是,除了它是一个启用了MPI的C应用程序之外,我无法提供外部可执行文件EXTERNAL_PROGRAM的更多细节.如下面的评论部分所述,我怀疑这是为什么我的外部程序调用基本上被忽略的原因(或其中一个).

请注意,我知道在这种情况下,没有人可以重现我的确切情况.但是,我仍然希望有人在这里遇到类似的问题并且可能会提供帮助.

为了完整性,操作系统是Ubuntu 14.04,我使用的是OpenMPI 1.6.5.