ToB企服应用市场:ToB评测及商务社交产业平台

标题: Xxl-Job分布式定时任务 [打印本页]

作者: 火影    时间: 2024-6-14 23:14
标题: Xxl-Job分布式定时任务
一、简介

XXL-JOB是一个分布式任务调度平台,是一个分布式定时任务的解决方案,作者的名字叫许雪里。
解决问题:在分布式情况下,传统的定时任务,如SpringTask、Timer等,存在定时任务重复执行,无法追踪任务执行结果等,使用Xxl-job可以有效制止在分布式情况下,定时任务出现的各类问题,同时还支持任务结果日志,数据统计,预警邮件等功能。
开源地址:
xxl-job: 一个分布式任务调度平台,其核心计划目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产物线,开箱即用。
GitHub - xuxueli/xxl-job: A distributed task scheduling framework.(分布式任务调度平台XXL-JOB)
源码介绍:
项目源码分为了xxl-job的核心、调度器以及执行器三个部分,在源码中也都有相应的实例,后文也将分别介绍。


二、快速入门

(一) 初始化数据库

需要注意的是,在项目源码中有一个数据库初始化的脚本,在使用之前需要执行此脚本,创建底子的表布局:


  1. - xxl_job_lock:任务调度锁表;
  2. - xxl_job_group:执行器信息表,维护任务执行器信息;
  3. - xxl_job_info:调度扩展信息表: 用于保存XXL-JOB调度任务的扩展信息,如任务分组、任务名、机器地址、执行器、执行入参和报警邮件等等;
  4. - xxl_job_log:调度日志表: 用于保存XXL-JOB任务调度的历史信息,如调度结果、执行结果、调度入参、调度机器和执行器等等;
  5. - xxl_job_logglue:任务GLUE日志:用于保存GLUE更新历史,用于支持GLUE的版本回溯功能;
  6. - xxl_job_registry:执行器注册表,维护在线的执行器和调度中心机器地址信息;
  7. - xxl_job_user:系统用户表;
复制代码
(二) 调度器

调度器,是用于统一管理任务调度平台上调度任务,负责触发调度执行,并且提供任务管理平台。在项目源码中对应为xxl-job-admin,因此我们需要修改xxl-job-admin的配置,以启动调度中心。
  1. ### web
  2. server.port=8888
  3. server.servlet.context-path=/xxl-job-admin
  4. ### actuator
  5. management.server.servlet.context-path=/actuator
  6. management.health.mail.enabled=false
  7. ### resources
  8. spring.mvc.servlet.load-on-startup=0
  9. spring.mvc.static-path-pattern=/static/**
  10. spring.resources.static-locations=classpath:/static/
  11. ### freemarker
  12. spring.freemarker.templateLoaderPath=classpath:/templates/
  13. spring.freemarker.suffix=.ftl
  14. spring.freemarker.charset=UTF-8
  15. spring.freemarker.request-context-attribute=request
  16. spring.freemarker.settings.number_format=0.##########
  17. ### mybatis
  18. mybatis.mapper-locations=classpath:/mybatis-mapper/*Mapper.xml
  19. #mybatis.type-aliases-package=com.xxl.job.admin.core.model
  20. ### xxl-job, datasource
  21. spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?Unicode=true&serverTimezone=Asia/Shanghai&characterEncoding=UTF-8
  22. spring.datasource.username=root
  23. spring.datasource.password=root
  24. spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver
  25. ### datasource-pool
  26. spring.datasource.type=com.zaxxer.hikari.HikariDataSource
  27. spring.datasource.hikari.minimum-idle=10
  28. spring.datasource.hikari.maximum-pool-size=30
  29. spring.datasource.hikari.auto-commit=true
  30. spring.datasource.hikari.idle-timeout=30000
  31. spring.datasource.hikari.pool-name=HikariCP
  32. spring.datasource.hikari.max-lifetime=900000
  33. spring.datasource.hikari.connection-timeout=10000
  34. spring.datasource.hikari.connection-test-query=SELECT 1
  35. ### xxl-job, email
  36. spring.mail.host=smtp.qq.com
  37. spring.mail.port=25
  38. spring.mail.username=xxx@qq.com
  39. spring.mail.password=xxx
  40. spring.mail.properties.mail.smtp.auth=true
  41. spring.mail.properties.mail.smtp.starttls.enable=true
  42. spring.mail.properties.mail.smtp.starttls.required=true
  43. spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory
  44. ### xxl-job, access token
  45. xxl.job.accessToken=
  46. ### xxl-job, i18n (default is zh_CN, and you can choose "zh_CN", "zh_TC" and "en")
  47. xxl.job.i18n=zh_CN
  48. ## xxl-job, triggerpool max size
  49. xxl.job.triggerpool.fast.max=200
  50. xxl.job.triggerpool.slow.max=100
  51. ### xxl-job, log retention days
  52. xxl.job.logretentiondays=30
复制代码
将调度中心的数据库配置修改为我们自己的数据库配置,然后启动调度中心项目,并访问:http://IP:port/xxl-job-admin
初始账号暗码:admin/123456 , 登录背景之后看到的页面信息如下:


至此,以本地项目标方式启动调度中心就完成了,固然也可以通过docker容器的方式来创建调度中心,这里提供docker下令,以供参考:
  1. version: '3'
  2. services:
  3.   xxl-job:
  4.     image: xuxueli/xxl-job-admin:2.3.0
  5.     container_name: xxl-job
  6.     environment:
  7.       PARAMS: "--spring.datasource.url=jdbc:mysql://ip:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai  --spring.datasource.username=root  --spring.datasource.password=root"
  8.     ports:
  9.       - 8888:8080
  10.     volumes:
  11.       - /data/docker/xxl-job/logs/:/data/applogs/xxl-job/
复制代码
(三) 配置任务

创建完成调度中心之后,先在页面创建一个任务,方便我们后续的测试。在调度中心,任务管理菜单中,可以新建一个任务:


注意:这里新建的任务采用的是默认的示例执行器,假如想要使用自己定义的执行器,需要先在执行器管理中创建执行器,然后为任务分配执行器。
关于表单参数的解释:
任务表单参数





壅闭处理处罚策略:调度过于麋集执行器来不及处理处罚时的处理处罚策略;

当执行器集群摆设时,提供丰富的路由策略,包括;

(四) 执行器

执行器,顾名思义是用来执行任务的,在项目中使用执行器,来指定配置的定时任务。以上述配置的示例执行器任务为例,使用如下:
  1. <!--xxl-job-->
  2. <dependency>
  3.   <groupId>com.xuxueli</groupId>
  4.   <artifactId>xxl-job-core</artifactId>
  5.   <version>2.3.0</version>
  6. </dependency>
复制代码
  1. # xxl-job配置
  2. xxl:
  3.   job:
  4.     admin:
  5.       addresses: http://127.0.0.1:8090/xxl-job-admin
  6.     accessToken: default_token
  7.     executor:
  8.       appname: xxl-job-executor-sample
  9.       address:
  10.       ip:
  11.       port: 9999
  12.       logpath: ./logs/xxl-job/executor/
  13.       logretentiondays: 30
  14. logging:
  15.   config: classpath:logback.xml
复制代码
  1. import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
  2. import org.slf4j.Logger;
  3. import org.slf4j.LoggerFactory;
  4. import org.springframework.beans.factory.annotation.Value;
  5. import org.springframework.context.annotation.Bean;
  6. import org.springframework.context.annotation.Configuration;
  7. /**
  8. * xxl-job config
  9. *
  10. * @author xuxueli 2017-04-28
  11. */
  12. @Configuration
  13. public class XxlJobConfig {
  14.     private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);
  15.     @Value("${xxl.job.admin.addresses}")
  16.     private String adminAddresses;
  17.     @Value("${xxl.job.accessToken}")
  18.     private String accessToken;
  19.     @Value("${xxl.job.executor.appname}")
  20.     private String appname;
  21.     @Value("${xxl.job.executor.address}")
  22.     private String address;
  23.     @Value("${xxl.job.executor.ip}")
  24.     private String ip;
  25.     @Value("${xxl.job.executor.port}")
  26.     private int port;
  27.     @Value("${xxl.job.executor.logpath}")
  28.     private String logPath;
  29.     @Value("${xxl.job.executor.logretentiondays}")
  30.     private int logRetentionDays;
  31.     @Bean
  32.     public XxlJobSpringExecutor xxlJobExecutor() {
  33.         logger.info(">>>>>>>>>>> xxl-job config init.");
  34.         XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
  35.         xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
  36.         xxlJobSpringExecutor.setAppname(appname);
  37.         xxlJobSpringExecutor.setAddress(address);
  38.         xxlJobSpringExecutor.setIp(ip);
  39.         xxlJobSpringExecutor.setAccessToken(accessToken);
  40.         xxlJobSpringExecutor.setPort(port);
  41.         xxlJobSpringExecutor.setLogPath(logPath);
  42.         xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
  43.         return xxlJobSpringExecutor;
  44.     }
  45.     /**
  46.      * 针对多网卡、容器内部署等情况,可借助 "spring-cloud-commons" 提供的 "InetUtils" 组件灵活定制注册IP;
  47.      *
  48.      *      1、引入依赖:
  49.      *          <dependency>
  50.      *             <groupId>org.springframework.cloud</groupId>
  51.      *             <artifactId>spring-cloud-commons</artifactId>
  52.      *             <version>${version}</version>
  53.      *         </dependency>
  54.      *
  55.      *      2、配置文件,或者容器启动变量
  56.      *          spring.cloud.inetutils.preferred-networks: 'xxx.xxx.xxx.'
  57.      *
  58.      *      3、获取IP
  59.      *          String ip_ = inetUtils.findFirstNonLoopbackHostInfo().getIpAddress();
  60.      */
  61. }
复制代码
因为在调度中心中创建任务的时候,指定了任务运行模式为BEAN,并且指定了JobHandler,因此在编写执行器的时候也需要和上述的JobHandler对应。


  1. @Slf4j
  2. @Component
  3. public class HelloJob {
  4.     @XxlJob("demoHandler")
  5.     public void helloJob() {
  6.         log.info("简单任务执行了。。。。");
  7.     }
  8. }
复制代码
创建完成后重启项目,然后进入调度中心查看:


在执行器管理中,自己项目应用已经注册进来了,并且可以或许查看到相应的信息。


以下是执行器的属性阐明:
属性名称
阐明
AppName
是每个执行器集群的唯一标示AppName, 执行器会周期性以AppName为对象举行自动注册。可通过该配置自动发现注册乐成的执行器, 供任务调度时使用;
名称
执行器的名称, 因为AppName限定字母数字等组成,可读性不强, 名称为了提高执行器的可读性;
排序
执行器的排序, 体系中需要执行器的地方,如任务新增, 将会按照该排序读取可用的执行器列表;
注册方式
调度中心获取执行器地址的方式;
呆板地址
注册方式为"手动录入"时有效,支持人工维护执行器的地址信息;
自动注册和手动注册的区别和配置


在任务管理中,找到刚刚创建的任务,然后点击启动:


等候状态变为running,这个时候,会到自己的项目查看日志,发现,定时任务开始执行了:


同时,可以在调度日志中看到调度的情况:


至此,关于xxl-job的底子核心功能使用就完成了。
三、任务配置

配置属性详细阐明
新增任务表单中,任务配置模块主要是运行模式、JobHandler以及任务参数。


(一) 运行模式

这里以Java示例,主要是BEAN和GLUE两种模式
1. BEAN

BEAN模式包罗类情势和方法情势。
一、类情势

Bean模式任务,支持基于类的开发方式,每个任务对应一个Java类。
长处:不限定项目情况,兼容性好。即使是无框架项目,如main方法直接启动的项目也可以提供支持,可以参考示例项目 “xxl-job-executor-sample-frameless”;
缺点:每个任务需要占用一个Java类,造成类的浪费;不支持自动扫描任务并注入到执行器容器,需要手动注入。
示例:


自己创建执行类的实现,继续自"com.xxl.job.core.handler.IJobHandler"的JobHandler类,实现此中任务方法。
  1. @Slf4j
  2. public class BeanClassJob extends IJobHandler {
  3.     @Override
  4.     public void execute() throws Exception {
  5.         log.info("BEAN类形式任务执行了,{}", LocalDateTime.now());
  6.     }
  7. }
复制代码
手动注册执行器的实现类
  1. XxlJobExecutor.registJobHandler("beanClassJob", new BeanClassJob());
复制代码
二、方法情势

Bean模式任务,支持基于方法的开发方式,每个任务对应一个方法。
长处:每个任务只需要开发一个方法,并添加”@XxlJob”注解即可,更加方便、快速。支持自动扫描任务并注入到执行器容器。
缺点:略。
基于方法开发的任务,底层会生成JobHandler代理,和基于类的方式一样,任务也会以JobHandler的情势存在于执行器任务容器中。
  1. @Slf4j
  2. @Component
  3. public class HelloJob {
  4.     @XxlJob("demoHandler")
  5.     public void helloJob() {
  6.         log.info("简单任务执行了。。。。");
  7.     }
  8. }
复制代码
这种情势也是寻常我们使用最多的一种情势。
2. GLUE

任务以源码方式维护在调度中心,支持通过Web IDE在线更新,实时编译和生效,因此不需要指定JobHandler。开发流程如下:
运行模式选中 “GLUE模式(Java)”;


选中指定任务,点击该任务右侧“GLUE”按钮,将会前往GLUE任务的Web IDE界面,在该界面支持对任务代码举行开发(也可以在IDE中开发完成后,复制粘贴到编辑中)。




版本回溯功能(支持30个版本的版本回溯):在GLUE任务的Web IDE界面,选择右上角下拉框“版本回溯”,会列出该GLUE的更新汗青,选择相应版本即可表现该版本代码,保存后GLUE代码即回退到对应的汗青版本;


编辑完成后,可以直接点击启动,查看日志:


同时查看控制台打印:


(二) 高级配置

在任务配置的高级配置模块,可以设置路由策略、子任务等等,这块的配置主要是针对分布式的定时任务集群举行配置的,配置后,采用指定的方式选取服务节点执行一次定时任务。在此处的配置中,比较常用的就是路由策略和壅闭处理处罚策略。


1. 路由策略

可以发现路由策略其实是有许多,包括:
● FIRST(第一个):固定选择第一个呆板;
● LAST(最后一个):固定选择最后一个呆板;
● ROUND(轮询)
● RANDOM(随机):随机选择在线的呆板;
● CONSISTENT_HASH(一致性HASH):每个任务按照Hash算法固定选择某一台呆板,且所有任务均匀散列在不同呆板上。
● LEAST_FREQUENTLY_USED(最不经常使用):使用频率最低的呆板优先被选举;
● LEAST_RECENTLY_USED(最近最久未使用):最久未使用的呆板优先被选举;
● FAILOVER(故障转移):按照次序依次举行心跳检测,第一个心跳检测乐成的呆板选定为目标执行器并发起调度;
● BUSYOVER(繁忙转移):按照次序依次举行空闲检测,第一个空闲检测乐成的呆板选定为目标执行器并发起调度;
● SHARDING_BROADCAST(分片广播):广播触发对应集群中所有呆板执行一次任务,同时体系自动传递分片参数;可根据分片参数开发分片任务;


2. 壅闭处理处罚策略

壅闭处理处罚策略:调度过于麋集执行器来不及处理处罚时的处理处罚策略;
● 单机串行(默认):调度请求进入单机执行器后,调度请求进入FIFO(First Input First Output)队列并以串行方式运行;
● 丢弃后续调度:调度请求进入单机执行器后,发现执行器存在运行的调度任务,本次请求将会被丢弃并标记为失败;
● 覆盖之前调度:调度请求进入单机执行器后,发现执行器存在运行的调度任务,将会终止运行中的调度任务并清空队列,然后运行本地调度任务;


四、操纵指南

关于xxl-job还有许多其他的操纵,在这里介绍一下大概用到的操纵。
(一) 用户管理

进入 “用户管理” 界面,可查看和管理用户信息;如今用户分为两种角色:
管理员:拥有全量权限,支持在线管理用户信息,为用户分配权限,权限分配粒度为执行器;
寻常用户:仅拥有被分配权限的执行器,及相干任务的操纵权限;


可以通过新增用户,并为其分配执行器的权限:


使用新用户账号登录


新增用户之后,在新增任务的时候,可以将任务的责任人修改为对应的用户。
(二) 告警邮件

假如定时任务执行失败堕落等,xxl-job可以实现邮件关照的情势来提醒负责人。
在使用告警邮件之前,需要配置调度中心的邮件发送账号信息,也就是这个邮件用什么账号举行发送,这里需要发送邮件账号开通smtp服务,并获取到授权码,关于这部分可以查看本人之前的邮件发送一问,这里不做赘述。
  1. ### xxl-job, email
  2. spring.mail.host=smtp.qq.com
  3. spring.mail.port=25
  4. spring.mail.username=
  5. spring.mail.from=
  6. spring.mail.password=
  7. spring.mail.properties.mail.smtp.auth=true
  8. spring.mail.properties.mail.smtp.starttls.enable=true
  9. spring.mail.properties.mail.smtp.starttls.required=true
  10. spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory
复制代码
在xxl-job-admin调度中心项目中,找到如上配置,修改username、from和password为自己的邮件发送地址。
在配置任务的时候,可以执行报警邮件,这里的邮件地址就是接受报警邮件的地址。


配置完成之后,停掉执行器,将调度器重启,然后开启任务,等候调度日志出现失败记载,同时查看接收的邮件信息。


(三) 任务结果

许多时候,定时任务执行,需要手动处理处罚异常和执行结果,比喻代码出现异常,返回执行失败给调度中心,而不是执行乐成。自v1.6.2之后,任务执行结果通过 “IJobHandler” 的返回值 “ReturnT” 举行判断;当返回值符合 “ReturnT.code == ReturnT.SUCCESS_CODE” 时表示任务执行乐成,否则表示任务执行失败,而且可以通过 “ReturnT.msg” 回调错误信息给调度中心;从而,在任务逻辑中可以方便的控制任务执行结果;
  1. /**
  2.      * 任务的执行结果
  3.      */
  4. @XxlJob(value = "taskRunResult", init = "init", destroy = "destroy")
  5. public void taskRunResultExecutor() {
  6.     // 假设在执行这一步的时候出现报错
  7.     if (true) {
  8.         log.error("任务执行报错了!, 异常信息:");
  9.         XxlJobHelper.handleFail("任务执行报错了!");
  10.         return;
  11.     }
  12.     log.info("任务执行成功!");
  13.     XxlJobHelper.handleSuccess("任务执行成功!");
  14. }
  15. public void init() {
  16.     log.info("初始化 定时任务 =====> 准备开始执行定时任务!");
  17. }
  18. public void destroy() {
  19.     log.info("定时任务 执行完成=====> 准备销毁!");
  20. }
复制代码
(四) 访问令牌

为提升体系安全性,调度中心和执行器举行安全性校验,双方AccessToken匹配才允许通讯;调度中心和执行器,可通过配置项 “xxl.job.accessToken” 举行AccessToken的设置。调度中心和执行器,假如需要正常通讯,只有两种设置;
设置一:调度中心和执行器,均不设置AccessToken;关闭安全性校验;
设置二:调度中心和执行器,设置了相同的AccessToken;
一样寻常在生成情况,都需要配置AccessToken,并保证调度中心和执行器使用的是一个AccessToken:
  1. ### xxl-job, access token
  2. xxl.job.accessToken=bf94fac7-de97-4f8d-a3e6-fe8562c480c7
复制代码
  1. # xxl-job配置
  2. xxl:
  3.   job:
  4.     admin:
  5.       addresses: http://127.0.0.1:8090/xxl-job-admin
  6.     accessToken: bf94fac7-de97-4f8d-a3e6-fe8562c480c7
  7.     executor:
  8.       appname: masteryi-xxl-job-executor
  9.       address:
  10.       ip:
  11.       port: 9999
  12.       logpath: ./logs/xxl-job/executor/
  13.       logretentiondays: 30
  14. logging:
  15.   config: classpath:logback.xml
复制代码
五、参考

关于xxl-job的更多用法,可以参考官方开源社区:
分布式任务调度平台XXL-JOB

如有不足,欢迎指正,本文持续更新中。。。

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。




欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4