xxl-job 调查结果

[KirinRyuuri]

ecron 调查文档

xxl-job 简单分为了两个部分，一个部分是调度中心，也就是负责任务注册、分配和调度、执行器注册和调度、日志管理等主要功能；另一个部分是执行器，主要负责具体执行任务，并观察任务执行情况，将信息上报给调度中心。

---

格式如下：

Q：调查问题内容

A：调查结果内容

TODO：（版本号） 为已经在计划中的功能。

Q：调度系统本身的集群模式：主从 or 对等

A：完全主从。

主要是为了便于部署和使用，任务的注册和调度都在调度中心进行，所有的执行器都将任务交给调度中心进行统一管理分配，分配的方式由调度中心统一安排。

调度中心需要接入MySQL

Q：在集群模式下，调度系统本身如何调度资源，例如如果要调度任务 A，那么应该是在调度系统进群的哪个节点上调度

A：由调度中心统一分配，依赖后端数据库（比如MySQL）自己的锁机制。

基本上的步骤可以理解为，第一步注册一个执行器，第二步在调度中心创建任务，并选择对应的执行器（或者交给调度中心进行选择），第三部调度中心调用执行器进行任务执行。

Q：任务分类：重复任务，定时任务，一次性任务，实时任务

A：都支持

任务的调度类型主要分为四种

1. 主动执行，也就是一次性任务；
2. CRON，定时执行，直接通过 CRON 来触发，所以除了一次性任务之外都可以用这个；
3. 固定速度，每隔一定时间开始执行一个任务；
4. 固定间隔，当上一次任务完成之后，间隔一个固定值开始执行下一次任务。与固定速度任务不同的地方在于，下一次任务开始执行的时间取决于上次任务的完成时间。

任务管理：

Q：任务运行信息：如何查询，是否有回调机制通知用户任务执行情况

A：任务的运行信息在调度中心查看。调度中心对外开放一个日志回调，执行器在任务执行的全流程中向调度中心上报日志的执行状况。

调度中心的任务调度日志包含：

• 任务本身的信息（执行器地址、参数）
• 调度信息（调度中心发起调度的时间、结果和备注（心跳等））
• 执行信息（执行器执行完成时间、结果、备注和中间日志）

调度中心提供一个 RESTful 的 API 给用户实时查看任务进度

API 示例

说明：执行器执行完任务后，回调任务结果时使用
------
地址格式：{调度中心根地址}/api/callback
Header：
    XXL-JOB-ACCESS-TOKEN : {请求令牌}
请求数据格式如下，放置在 RequestBody 中，JSON格式：
    [{
        "logId":1,              // 本次调度日志ID
        "logDateTim":0,         // 本次调度日志时间
        "handleCode":200,       // 200 表示任务执行正常，500表示失败
        "handleMsg": null
        }
    }]
响应数据格式：
    {
      "code": 200,      // 200 表示正常、其他失败
      "msg": null      // 错误提示消息
    }

可以通过设置子任务的方式来达成“任务完成之后进行通知或者其他处理”

在任务完成时，也可以通过 IJobHandler（Java）或者状态码（非Java） 中携带的信息来判断任务是否正常执行

Q：任务日志

A：支持，并且任务全流程状态都是通过执行器向调度中心上报日志来改变的。

可能存在的问题：执行器如果崩了没传回日志，那么调度中心在下次心跳之前不会知道执行器崩了。

给出的解决办法：从调度中心上将运行中超过10mins的任务手动标记为失败。

Q：是否允许删除任务

A：只限Java：

会 interrupt 执行线程，触发 InterruptedException ，然后调用 destroy() 方法来进行资源回收

注：主线程和子线程都需要在收到 InterruptedException 的时候向上继续抛出，方便 JobHandler 处理任务

执行器内置的 RESTful API 中也有对于的接口

API 示例

说明：终止任务
------
地址格式：{执行器内嵌服务根地址}/kill
Header：
    XXL-JOB-ACCESS-TOKEN : {请求令牌}
请求数据格式如下，放置在 RequestBody 中，JSON格式：
    {
        "jobId":1       // 任务ID
    }
响应数据格式：
    {
      "code": 200,      // 200 表示正常、其他失败
      "msg": null       // 错误提示消息
    }

Q：删除的时候如何是否会取消当前任务

A：会，同时可以利用 destory() 来处理任务的收尾操作

Q：如何处理已经生成但是还没有调度的任务

A：因为是主从，所以直接在调度中心取消任务就可以了。

如果任务已经下发到执行器，也可以手动终止任务。

Q：是否允许修改任务

A：允许。直接在调度中心修改任务属性即可。

Q：是否允许修改调度配置，如果允许，那么修改调度配置会发生什么

A：主从架构，任务下发执行之前都可以修改，修改调度配置会等到任务运行时再调度。

Q：任务编排：是否支持，大概原理，以及支持到了何种地步

A：支持。

原理是在任务属性中的“子任务”字段。只支持后置任务（即子任务），不支持前置任务，不支持参数传递。

TODO：（v7.34）将来会支持DAG流程任务，即像流程图一样按照路径执行任务，并且可以传递参数。替代现在的子任务功能。

任务注册与任务发现（即确定哪些用户部署的实例是可以执行某个任务的）：

Q：有没有后台管理界面可以注册任务，如果有，注册的时候需要填写什么信息

A：有，注册中心。

• 执行器（任务分组）、任务描述、负责人、报警邮件
• 触发器（调度模式）
• 任务配置：具体任务内容，执行参数
• 高级配置：路由模式（任务调度模式）、子任务（任务编排）、过期策略、阻塞策略（执行器忙不过来）、超时时间（默认10min，参见“任务终止”一章）、重试次数

Q：可不可以编程形式注册，如果可以怎么接入

A：可以，提供 RESTful API

Q：任务形态：http 任务，grpc 任务，亦或是本地任务

A：不支持 gRPC 任务，但是剩下两个都支持。

HTTP任务：通过调度中心的管理页面来创建任务，包括源码（Java、Shell、Python、PHP、NodeJS、Powershell）和BEAN模式（Java，使用 JobHandler ，也可以用注解标明）、GLUE模式（Java，通过注解注入执行器）

调度模型：

Q：怎么查找待调度的任务

A：线程池调度任务，然后在数据库（MySQL）中寻找合适的任务

注：任务调度基本上都是秒为最小间隔单位

Q：线程模型（goroutine 模型）

Q：调度语义：

• 最多一次调度
• 最少一次调度
• 恰好调度一次

A：支持以下调度方式：固定最前或者最后；轮询；随机；HASH；LFU、LRU；心跳（同时发送心跳，使用先返回的）；空闲（同时发送空闲检测，使用先返回的）；分片广播（把一个大任务分成多个小任务交给执行器执行）

Q：调度策略：

• 筛选目标节点

A：在任务创建的时候，就选择目标执行器

• 广播、组播、单播

A：不支持，一是因为主从，二是执行器组成集群也只会有一个具体的执行器，三是分片广播任务也只是把一个大任务分成多个子任务，每个执行器还是执行单独的任务。

• 容错

  A：有

  • 过期策略（忽略、重试）
  • 阻塞策略（任务串行FIFO、丢弃、覆盖）
  • 超时策略
  • 重试策略（任务失败之后）

• 超时控制

A：有。可能存在执行器崩溃没返回任务结果导致任务超时，默认超时10mins。

• 是否允许用户自定义调度策略，以及如果允许的话，怎么接入

A：没找到

• 监控与告警
  • 支持的监控（平台）
  • 支持的告警手段

A：默认使用邮件，可以扩展短信、钉钉等。可以参考 EmailJobAlarm 实现 com.xxl.job.admin.core.alarm.JobAlarm 接口就可以支持自定义的告警

• 认证和权限：
  • 有没有引入类似分组、namespace、部门之类的概念

A：没有。

分组只有 管理员、普通用户 这两个分组。只有执行器控制权这一个粒度的权限控制。

• 有没有权限控制：例如是否允许用户查询任务执行状态，或者是否允许接入第三方的登录或者权限控制机制

A：没有。只有基础的 AccessToken 校验功能，还只是调度中心和执行器之间的。

TODO：（7.34）AccessToken 的动态生成、过期，控制的调度、回调控制。

• 数据存储
  • 表结构设计
  • 是否支持分库分表

A：全部存在数据库（MySQL）中，不支持分库分表。

表结构

表名	作用
xxl_job_group	执行器信息表：维护任务执行器信息
xxl_job_info	调度扩展信息表：用于保存xxl-job调度任务的扩展信息，如任务分组、任务名、机器地址、执行器、执行入参和报警邮件等等
xxl_job_lock	任务调度锁表
xxl_job_log	调度日志表：用于保存xxl-job调度任务的历史信息，如调度结果、执行结果、调度入参、调度机器和执行器等等
xxl_job_log_report	调度日志报表：用户存储xxl-job任务调度日志的报表，调度中心报表功能页面会用到
xxl_job_logglue	任务GLUE日志：用于保存GLUE更新历史，用于支持GLUE的版本回溯功能
xxl_job_registry	执行器注册表，维护在线的执行器和调度中心机器地址信息
xxl_job_user	系统用户表

• 以一个简单的任务为例子，解释整个系统的运作过程

3千字带你搞懂XXL-JOB任务调度平台-阿里云开发者社区 (aliyun.com)

1. 执行器向调度中心注册
2. 用户在调度中心上新增一个任务，并且配置好任务参数（执行器、触发器）
3. 等到触发器触发之后，调度中心向执行器下发这个任务
   1. 如果有子任务之类的，会等父任务完成之后再下发子任务
4. 执行器收到任务之后开始执行，并向调度中心报告任务状态（任务开始、结束时间，任务信息，中间日志等）
   1. 执行器收到任务之后基本上不存在调度，任务调度主要由调度中心处理
5. 执行器在任务完成之后，将任务和任务信息（状态、日志）上报给调度中心
6. 用户在调度中心查看任务情况

---

update:

Q：主从模式

调度中心支持HA（集群）部署，所有调度中心都链接同一个数据库（MySQL）
执行器支持HA（集群）部署，所有执行器回调地址相同，且为所有集群部署的调度中心

调度中心

在集群部署模式下，调度中心（A）与调度中心（B）之间属于平等关系， A 与 B 均从同一个数据库（MySQL）中获取任务，谁先抢到算谁的；假设 A 失效，则 A 下的执行器会链接到其他调度中心（如 B ）。

执行器

在集群部署模式下，执行器与执行器之间没有关联，也可以算为平等关系，执行器失效的情况由调度中心处理。