任务调度系统-任务依赖的设计

1. 任务依赖需求描述：

例子：

一个作业分为如下子任务：

任务1，任务2，任务3，任务4

执行的顺序为，任务1---》任务2，任务3---》任务4

其中任务2，任务3可以并行执行，我们用下图描述：

这是一个图形结构，我们预设，任务的起始点永远都是一个根节点，不管你业务如何，遵从这个设计是没有难度的，以后的流程，可以并行，也可以串行，任何一个阶段，都能支持并行和串行，因此，我们的子任务关系构成的数据结构为一个图。

2. 任务调度简单流程

1. 首先定义一个job代表一次业务的调度，job维护了任务1到任务4之间的关系。
2. 找到job的根节点任务1，先执行任务1，因为是根节点，没有父类，因此没有先决条件，任务被调度时，即可执行。
3. 执行完根节点之后，看该节点是否有子节点，没有则不继续，有则并行执行所有子节点的任务。
4. 此时任务2和任务3会被并行调用，我们假设调用指令先到任务2，任务2发现有1个父节点，且调用指令中表示父节点已经执行完成，那么就开始执行任务2的调度，同理任务3也是同样的逻辑。
5. 任务2和任务3执行完成之后，会先后或者同时调用任务4，我们这里为了避免同时并发造成的困扰，任务被调用这个方法要设置成同步，那么假设任务2先调用任务4，此时我们在内存中记录任务2已完成，并且任务4发现自己的2个父节点中，任务3的指令并没有来到，因此，此次调度跳过，等待任务3指令的到来。
6. 当任务3的指令到来，我们根据jobid，找到之前暂停的job，此时发现任务2,3都执行完成，那么开始执行任务4，本次业务调度完成。

3. 数据结构java类描述

//jobConfig 及其子任务的依赖关系描述

public class JobConfig {

private Long id; //id

private TaskConfig task; //子任务根节点

private String corn; //corn表达式

}

// TaskConfig 描述子任务之间的依赖关系

public class TaskConfig {

Long id;

String name; //任务名称

private Long jobId; //jobid

private String target; //目标任务

List<TaskConfig> parent; //父节点

List<TaskConfig> child; //子节点

}

//job类，描述每次任务调度的job

public class Job {

Long id;

JobConfig jobConfig; //所属job_config

int status; //执行状态

}

//task类，描述每次任务调度的task

public class Task {

Long id;

TaskConfig taskConfig; //所属task_config

Job job; //所属job

int status; //执行状态

//父task

List<Task> parentList;

}

4. 表结构描述

我们需要定义一些表来描述作业子任务之间的静态关系

和执行时的任务状态动态关系

/*

job_config表

用来描述job及其子任务的静态关系

*/

create table job_config(

id,

root_task_id --任务根节点

corn --corn表达式

);

/*

task_config表，描述job下的子任务之间的静态依赖关系

属于job_config表的子表

*/

create table task_config(

id,--id

name,--任务名称

parent_id --父节点，多个用逗号隔开

child_id --子节点，多个用逗号隔开

job_id --所属的job_id

target --目标任务

)

/*

job执行状态表

*/

create table job(

id,

job_config_id,-- 所属job_config

status,-- 执行状态

);

/*

task 执行状态表

job 的子表

*/

create table task(

id,

task_config_id,-- 所属task_config

job_id,-- 所属job

status,-- 执行状态

);

5. 伪代码描述job执行流程

捞取所有job_config表记录，根据corn去触发定时任务

事先构造job_config及其子任务之间的关系，从数据库中根据job_id捞取出

所有的task_config，然后根据其child，parent等构造一个关系对象

JobConfig jobConfig = buildJobConfig();

Job job =buildJob(); //包含持久化job

job.setJobConfig(jobConfig);

job.execute();

job.execute()方法详细代码：

//执行任务

public void execute(){

//构造task树，描述task及其子task的关系

//并持久化到数据库中

Task root = buildRootTask();

root.execute();

}

//task.execute 方法

public void execute(){

String target = taskConfig.getTarget();

//是否能执行，要判断先决条件，如果父节点未全部执行完，则跳过此次执行

if(this.canRun()){

boolean success = callTargetTask(target);

if(success){

//更新状态为成功

this.updateStatusToSuccess();

}else{

//更新状态为失败

this.updateStatusToFailed();

}

}

if(childList.size()>0){

//递归执行子任务

for(Task task : childList){

task.execute();

}

}

}

private boolean canRun(){

for(Task task : parentList){

if(!task.isFinished()){

return false;

}

}

return true;

}

Buildjobconfig代码：

6.任务失败重试设计

待续

分布式任务系统

任务调度系统，和任务执行系统应该分开部署

任务执行系统可以部署多台。调度系统也可以部署多台。

任务调度系统在callTargetTask的时候，用远程调用的形式，这样可以尽可能的提高并发的性能

和系统稳定性。

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!