任务调度系统-任务依赖的设计

?1.???? 任务依赖需求描述：

例子：

一个作业分为如下子任务：

任务1，任务2，任务3，任务4

执行的顺序为，任务1---》任务2，任务3---》任务4

其中任务2，任务3可以并行执行，我们用下图描述：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

这是一个图形结构，我们预设，任务的起始点永远都是一个根节点，不管你业务如何，遵从这个设计是没有难度的，以后的流程，可以并行，也可以串行，任何一个阶段，都能支持并行和串行，因此，我们的子任务关系构成的数据结构为一个图。

?

2. 任务调度简单流程

?

1. 首先定义一个job代表一次业务的调度，job维护了任务1到任务4之间的关系。
2. 找到job的根节点任务1，先执行任务1，因为是根节点，没有父类，因此没有先决条件，任务被调度时，即可执行。
3. 执行完根节点之后，看该节点是否有子节点，没有则不继续，有则并行执行所有子节点的任务。
4. 此时任务2和任务3会被并行调用，我们假设调用指令先到任务2，任务2发现有1个父节点，且调用指令中表示父节点已经执行完成，那么就开始执行任务2的调度，同理任务3也是同样的逻辑。
5. 任务2和任务3执行完成之后，会先后或者同时调用任务4，我们这里为了避免同时并发造成的困扰，任务被调用这个方法要设置成同步，那么假设任务2先调用任务4，此时我们在内存中记录任务2已完成，并且任务4发现自己的2个父节点中，任务3的指令并没有来到，因此，此次调度跳过，等待任务3指令的到来。
6. 当任务3的指令到来，我们根据jobid，找到之前暂停的job，此时发现任务2,3都执行完成，那么开始执行任务4，本次业务调度完成。

?

?

3. 数据结构java类描述

?? ?//jobConfig 及其子任务的依赖关系描述?

public class JobConfig {

??? private Long id; //id?????

??? private TaskConfig task; //子任务根节点

??? private String corn; //corn表达式???

}

?

// TaskConfig 描述子任务之间的依赖关系

public class TaskConfig {??

??? Long id;?????????????????????

??? String name; //任务名称??

??? private Long jobId; //jobid

??? private String target; //目标任务

??? List<TaskConfig> parent; //父节点?

??? List<TaskConfig> child; //子节点

}

?

//job类，描述每次任务调度的job

public class Job {

??? Long id;

??? JobConfig jobConfig; //所属job_config

??? int status; //执行状态

}

?

//task类，描述每次任务调度的task

public class Task {

??? Long id;

??? TaskConfig taskConfig; //所属task_config

??? Job job; //所属job

??? int status; //执行状态

?? //父task

List<Task> parentList;

}

?

?

4. 表结构描述

我们需要定义一些表来描述作业子任务之间的静态关系

和执行时的任务状态动态关系

?

/*

job_config表

用来描述job及其子任务的静态关系

*/

create table job_config(

? id,

? root_task_id --任务根节点

? corn??? --corn表达式

);

?

?

/*

task_config表，描述job下的子任务之间的静态依赖关系

属于job_config表的子表

*/

create table task_config(

??? id,? --id

??? name,????????????????????????????????? ? --任务名称

??? parent_id --父节点，多个用逗号隔开

??? child_id? --子节点，多个用逗号隔开

??? job_id??? --所属的job_id

??? target??? --目标任务

)

?

?

/*

job执行状态表

?

*/

create table job(

??? id,

??? job_config_id,-- 所属job_config

??? status,-- 执行状态

);

?

/*

task 执行状态表

job 的子表

*/

?

create table task(

??? id,

??? task_config_id,-- 所属task_config

??? job_id,-- 所属job

??? status,-- 执行状态

);

?

5. 伪代码描述job执行流程

?

捞取所有job_config表记录，根据corn去触发定时任务

事先构造job_config及其子任务之间的关系，从数据库中根据job_id捞取出

所有的task_config，然后根据其child，parent等构造一个关系对象

JobConfig jobConfig = buildJobConfig();

Job job =buildJob(); //包含持久化job

job.setJobConfig(jobConfig);

job.execute();

?

job.execute()方法详细代码：

//执行任务

public void execute(){

? //构造task树，描述task及其子task的关系

? //并持久化到数据库中

? Task root = buildRootTask();

? root.execute();

}

?

//task.execute 方法

public void execute(){

?? String target = taskConfig.getTarget();

?? //是否能执行，要判断先决条件，如果父节点未全部执行完，则跳过此次执行

?? if(this.canRun()){

???? boolean success = callTargetTask(target);

???? if(success){

?????? //更新状态为成功

?????? this.updateStatusToSuccess();

???? }else{

??????? //更新状态为失败

??????? this.updateStatusToFailed();

???? }??????????????????????????????????????????

?? }

?? if(childList.size()>0){

???? //递归执行子任务

???? for(Task task : childList){

??????? task.execute();

???? }

?? }??????????????????????????????????????

}

?

private boolean canRun(){

?? for(Task task : parentList){

????? if(!task.isFinished()){

???????? return false;

????? }

?? }

?? return true;

}

?

Buildjobconfig代码：

?

?

6.任务失败重试设计

待续

?

分布式任务系统

任务调度系统，和任务执行系统应该分开部署

任务执行系统可以部署多台。调度系统也可以部署多台。

任务调度系统在callTargetTask的时候，用远程调用的形式，这样可以尽可能的提高并发的性能

和系统稳定性。