如何在Perl中同时从大队列中运行多个作业？

发布时间：2020-12-15 21:53:51 所属栏目：大数据来源：网络整理

导读：我想将 LSF command bsub 的作业限制编入我的Perl脚本中,该脚本启动LSF作业.如果我有2000个工作岗位,我想在任何时候最多运行20个工作岗位.我已经看过脚本可以启动20个工作,然后等待它们全部完成再启动另外20个工作. 解决方法几个现有的Perl模块,包括 Parall

我想将 LSF command bsub的作业限制编入我的Perl脚本中,该脚本启动LSF作业.如果我有2000个工作岗位,我想在任何时候最多运行20个工作岗位.我已经看过脚本可以启动20个工作,然后等待它们全部完成再启动另外20个工作.

解决方法

几个现有的Perl模块,包括 Parallel::ForkManager和 Forks::Super(我是其作者)提供此功能.

还有一个LSF::JobManager模块我不知道其他任何事情.

Parallel :: ForkManager骨架

use Parallel::ForkManager;
$pm = new Parallel::ForkManager(20);
foreach $job (@jobsToRun) {
    $pm->start and next;
    system("bsub -K $job");  # bsub -K job  to wait until job finishes,right?
    $pm->finish;
}

在福克斯::超级

use Forks::Super MAX_PROC => 20;
foreach $job (@jobsToRun) {
    fork { cmd => "bsub -K $job" };
}

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!