c – 使用支持CUDA的MPI的要求

#include <mpi.h>

int main( int argc,char *argv[] )
{
  int rank;
  float *ptr = NULL;
  const size_t elements = 32;
  MPI_Status status;

  MPI_Init( NULL,NULL );
  MPI_Comm_rank( MPI_COMM_WORLD,&rank );
  cudaMalloc( (void**)&ptr,elements * sizeof(float) );

  if( rank == 0 )
    MPI_Send( ptr,elements,MPI_FLOAT,1,MPI_COMM_WORLD );
  if( rank == 1 )
    MPI_Recv( ptr,MPI_COMM_WORLD,&status );

  cudaFree( ptr );
  MPI_Finalize();

  return 0;
}

*** Process received signal ***
Signal: Segmentation fault (11)
Signal code: Address not mapped (1)
Failing at address: 0x210000
[ 0] /lib64/libc.so.6[0x39d94326a0]
[ 1] /lib64/libc.so.6(memcpy+0xd2)[0x39d9489742]
[ 2] /usr/lib64/openmpi/lib/libopen-pal.so.6(opal_convertor_pack+0x18e)[0x2b750326cb1e]
[ 3] /usr/lib64/openmpi/lib/openmpi/mca_btl_smcuda.so(mca_btl_smcuda_sendi+0x3dc)[0x2b7507c2252c]
[ 4] /usr/lib64/openmpi/lib/openmpi/mca_pml_ob1.so(+0x890f)[0x2b75086ec90f]
[ 5] /usr/lib64/openmpi/lib/openmpi/mca_pml_ob1.so(mca_pml_ob1_send+0x499)[0x2b75086ed939]
[ 6] /usr/lib64/openmpi/lib/libmpi.so.1(PMPI_Send+0x1dd)[0x2b7502d3ef8d]
[ 7] prog(main+0x98)[0x400d51]
[ 8] /lib64/libc.so.6(__libc_start_main+0xfd)[0x39d941ed5d]
[ 9] prog[0x400be9]
*** End of error message ***

当MPI期望主机指针时,段错误几乎肯定是由于将设备指针传递给MPI.只有正确构建的CUDA感知MPI才能接受设备指针.仅仅拥有OpenMPI 1.8.2是不够的.您必须具有使用CUDA感知设置显式构建的OpenMPI版本.

对于OpenMPI,

开始here

摘录：

>如何使用支持CUDA的支持构建Open MPI？

支持CUDA意味着MPI库可以直接发送和接收GPU缓冲区.此功能存在于Open MPI 1.7系列及更高版本中.支持正在不断更新,因此不同版本中存在不同级别的支持.

Configuring Open MPI 1.7,MPI 1.7.1 and 1.7.2

--with-cuda(=DIR)       Build cuda support,optionally adding DIR/include,DIR/lib,and DIR/lib64


--with-cuda-libdir=DIR  Search for cuda libraries in DIR

以下是启用CUDA支持的configure命令的一些示例.

>在默认位置搜索.在/usr/lib64中的/usr/local/cuda / include和libcuda.so中查找cuda.h.

./configure --with-cuda

>在/usr/lib64的默认位置搜索/usr/local/cuda-v4.0/cuda/include和libcuda.so中的cuda.h.

./configure --with-cuda=/usr/local/cuda-v4.0/cuda

>在/usr/lib64中的/usr/local/cuda-v4.0/cuda/include和libcuda.so中搜索cuda.h. (与前一个相同)

./configure --with-cuda=/usr/local/cuda-v4.0/cuda --with-cuda-libdir=/usr/lib64

如果找不到cuda.h或libcuda.so文件,则configure将中止.

注意：Open MPI 1.7.2中存在一个错误,如果使用–enable-static配置库,则会出错.要解决此错误,请将以下内容添加到配置行并重新配置.这会禁用PML BFO的构建,而PML BFO在很大程度上是未使用的. Open MPI 1.7.3中修复了此错误.

--enable-mca-no-build=pml-bfo

Configuring Open MPI 1.7.3 and later

使用Open MPI 1.7.3及更高版本,libcuda.so库是动态加载的,因此无需在配置时指定它的路径.因此,您只需要cuda.h头文件的路径.

>在默认位置搜索.在/usr/local/cuda / include中查找cuda.h.

./configure --with-cuda

>在/usr/local/cuda-v5.0/cuda/include中搜索cuda.h.

./configure --with-cuda=/usr/local/cuda-v5.0/cuda

请注意,您无法使用–disable-dlopen进行配置,因为这会破坏Open MPI库动态加载libcuda.so的能力.

看到

有关如何使用CUDA支持的详细信息,请参见this FAQ entry.

请注意,这些说明假定您对构建OpenMPI有一定的了解.仅仅运行./configure是不够的……之后有make和make安装步骤.但是上面的配置命令区分了一个支持CUDA的OpenMPI构建和普通构建.