shell – 在将后续作业提交到PBS群集之前等待用户的所有作业完成

各个任务由几个由主脚本启动的脚本执行.
到目前为止,这个主要脚本在后台启动多个脚本(通过附加&)使它们在一个多核机器上并行运行.
我想用qsubs替换这些调用来分配集群节点的负载.

但是,有些工作依赖于其他工作才能开始.
到目前为止,这是通过主脚本中的等待语句实现的.
但是使用Grid Engine的最佳方法是什么？

我已经在qsub手册页中找到了this question以及-W after：jobid [：jobid …]文档,但我希望有更好的方法.
我们正在谈论几个并行运行的thousend作业和另一个相同大小的一组,以便在最后一个完成之后同时运行.
这意味着我必须根据很多工作排队很多工作.

我可以通过在中间使用虚拟作业来减少这种情况,除了取决于第二组可能依赖的第一组作业之外什么都不做.
这会将依赖数量从数百万减少到数千,但仍然是：它是错误的,我甚至不确定shell是否会接受如此长的命令行.

>是不是有办法等待我的所有工作完成(像qwait -u< user>)？
>或者从这个脚本提交的所有作业(如qwait [-p< PID>])？

当然可以使用qstat编写类似的东西并在while循环中休眠,但我想这个用例非常重要,有一个内置的解决方案,我只是无法想出那个.

在这种情况下你会推荐/使用什么？

附录一：

由于在评论中要求：

$qsub --version
version: 2.4.8

也许还有助于确定pbs系统：

$qsub --help
usage: qsub [-a date_time] [-A account_string] [-b secs]
      [-c [ none | { enabled | periodic | shutdown |
      depth=<int> | dir=<path> | interval=<minutes>}... ]
      [-C directive_prefix] [-d path] [-D path]
      [-e path] [-h] [-I] [-j oe] [-k {oe}] [-l resource_list] [-m n|{abe}]
      [-M user_list] [-N jobname] [-o path] [-p priority] [-P proxy_user] [-q queue]
      [-r y|n] [-S path] [-t number_to_submit] [-T type] [-u user_list] [-w] path
      [-W otherattributes=value...] [-v variable_list] [-V] [-x] [-X] [-z] [script]

由于注释指向作业数组到目前为止我搜索了qsub手册页,结果如下：

[...]
DESCRIPTION
[...]
       In addition to the above,the following environment variables will be available to the batch job.
[...]
       PBS_ARRAYID
              each member of a job array is assigned a unique identifier (see -t)
[...]
OPTIONS
[...]
       -t array_request
               Specifies the task ids of a job array. Single task arrays are allowed.
               The array_request argument is an integer id or a range of integers. Multiple ids or id ranges can be combined in a comman delimeted list. Examples : -t 1-100 or -t 1,10,50-100
[...]

附录二：

我已经尝试过Dmitri Chubarov给出的torque解决方案,但它没有按照描述工作.

没有工作,它按预期工作：

testuser@headnode ~ $qsub -W depend=afterok:`qsub ./test1.sh` ./test2 && qstat
2553.testserver.domain
Job id                  Name             User            Time Use S Queue
----------------------- ---------------- --------------- -------- - -----
2552.testserver         Test1            testuser               0 Q testqueue
2553.testserver         Test2            testuser               0 H testqueue
testuser@headnode ~ $qstat
Job id                  Name             User            Time Use S Queue
----------------------- ---------------- --------------- -------- - -----
2552.testserver         Test1            testuser               0 R testqueue
2553.testserver         Test2            testuser               0 H testqueue
testuser@headnode ~ $qstat
Job id                  Name             User            Time Use S Queue
----------------------- ---------------- --------------- -------- - -----
2553.testserver         Test2            testuser               0 R testqueue

但是,使用作业数组第二个作业将无法启动：

testuser@headnode ~ $qsub -W depend=afterok:`qsub -t 1-2 ./test1.sh` ./test2 && qstat
2555.testserver.domain
Job id                  Name             User            Time Use S Queue
----------------------- ---------------- --------------- -------- - -----
2554-1.testserver       Test1-1          testuser               0 Q testqueue
2554-2.testserver       Test1-1          testuser               0 Q testqueue
2555.testserver         Test2            testuser               0 H testqueue
testuser@headnode ~ $qstat
Job id                  Name             User            Time Use S Queue
----------------------- ---------------- --------------- -------- - -----
2554-1.testserver       Test1-1          testuser               0 R testqueue
2554-2.testserver       Test1-2          testuser               0 R testqueue
2555.testserver         Test2            testuser               0 H testqueue
testuser@headnode ~ $qstat
Job id                  Name             User            Time Use S Queue
----------------------- ---------------- --------------- -------- - -----
2555.testserver         Test2            testuser               0 H testqueue

我想这是由于第一个qsub返回的作业ID中缺少数组指示：

testuser@headnode ~ $qsub -t 1-2 ./test1.sh
2556.testserver.domain

正如你所看到的,没有… []表明这是一个工作阵列.
此外,在qsub输出中没有… [] s但是……- 1和…- 2表示阵列.

所以剩下的问题是如何格式化-W depend = afterok：…使作业依赖于指定的作业数组.