系统设计面试总结:7、java的定时/延时任务:单机(ScheduledThreadPoolExecutor、Spring Task、时间轮)、分布式任务调度框架(Quartz、XXL-JOB)

仅供自学回顾使用,请支持javaGuide原版书籍。

1.定时/延时任务场景

我们来看一下几个非常常见的业务场景:

  • 某系统凌晨 1 点要进行数据备份。
  • 某电商平台,用户下单半个小时未支付的情况下需要自动取消订单。
  • 某媒体聚合平台,每 10 分钟动态抓取某某网站的数据为自己所用。
  • 某博客平台/视频网站,支持定时发送文章/投稿。
  • 某基金平台,每晚定时计算用户当日收益情况并推送给用户最新的数据。

2.单机定时/延时任务

2.1.Timer

java.util.Timer 内部使用一个叫做 TaskQueue 的类存放定时任务,它是一个基于最小堆实现的优先级队列。

TaskQueue 会按照任务距离下一次执行时间的大小将任务排序,保证在堆顶的任务最先执行。这样在需要执行任务时,每次只需要取出堆顶的任务运行即可!

Timer 使用起来比较简单,通过下面的方式我们就能创建一个 1s 之后执行的定时任务。

// 示例代码:
TimerTask task = new TimerTask() {
    
    
    public void run() {
    
    
        System.out.println("当前时间: " + new Date() + "n" +
                "线程名称: " + Thread.currentThread().getName());
    }
};
System.out.println("当前时间: " + new Date() + "n" +
        "线程名称: " + Thread.currentThread().getName());
Timer timer = new Timer("Timer");
long delay = 1000L;
timer.schedule(task, delay);


//输出:
当前时间: Fri May 28 15:18:47 CST 2021n线程名称: main
当前时间: Fri May 28 15:18:48 CST 2021n线程名称: Timer

不过其缺陷较多,比如:

  • 只能串行:一个 Timer 一个线程,这就导致 Timer 的任务的执行只能串行执行。
  • 性能较差:一个任务执行时间过长的话会影响其他任务
  • 异常中止:发生异常时任务直接停止(Timer 只捕获 InterruptedException

2.2.ScheduledThreadPoolExecutor⭐

ScheduledThreadPoolExecutor 支持多线程执行定时任务并且功能更强大,是 Timer 的替代品。

其本身就是一个线程池,支持任务并发执行。并且,其内部使用 DelayedWorkQueue 作为任务队列。

// 示例代码:
TimerTask repeatedTask = new TimerTask() {
    
    
    @SneakyThrows
    public void run() {
    
    
        System.out.println("当前时间: " + new Date() + "n" +
                "线程名称: " + Thread.currentThread().getName());
    }
};
System.out.println("当前时间: " + new Date() + "n" +
        "线程名称: " + Thread.currentThread().getName());
ScheduledExecutorService executor = Executors.newScheduledThreadPool(3);
long delay  = 1000L;
long period = 1000L;
executor.scheduleAtFixedRate(repeatedTask, delay, period, TimeUnit.MILLISECONDS);
Thread.sleep(delay + period * 5);
executor.shutdown();
//输出:
当前时间: Fri May 28 15:40:46 CST 2021n线程名称: main
当前时间: Fri May 28 15:40:47 CST 2021n线程名称: pool-1-thread-1
当前时间: Fri May 28 15:40:48 CST 2021n线程名称: pool-1-thread-1
当前时间: Fri May 28 15:40:49 CST 2021n线程名称: pool-1-thread-2
当前时间: Fri May 28 15:40:50 CST 2021n线程名称: pool-1-thread-2
当前时间: Fri May 28 15:40:51 CST 2021n线程名称: pool-1-thread-2
当前时间: Fri May 28 15:40:52 CST 2021n线程名称: pool-1-thread-2

但不论是使用 Timer 还是 ScheduledExecutorService 都无法使用 Cron 表达式指定任务执行的具体时间。

2.3.DelayQueue

DelayQueue 是 JUC 包(java.util.concurrent)为我们提供的延迟队列,用于实现延时任务比如订单下单 15 分钟未支付直接取消。它是 BlockingQueue 的一种,底层是一个基于 PriorityQueue 实现的一个无界队列,是线程安全的。

另外,DelayQueue 还支持动态添加和移除任务,而 Timer/TimerTask 只能在创建时指定任务。

2.4.Spring Task⭐

我们直接通过 Spring 提供的 @Scheduled 注解即可定义定时任务,非常方便!
并且,Spring Task 还是支持 Cron 表达式 的。
Spring Task 底层是基于 JDK 的 ScheduledThreadPoolExecutor 线程池来实现的。
但是,Spring 自带的定时调度只支持单机

/**
 * cron:使用Cron表达式。 每分钟的1,2秒运行
 */
@Scheduled(cron = "1-2 * * * * ? ")
public void reportCurrentTimeWithCronExpression() {
    
    
  log.info("Cron Expression: The time is now {}", dateFormat.format(new Date()));
}

cron表达式生成在线网站:https://cron.qqe2.com/

2.5.时间轮⭐

Kafka、Dubbo、ZooKeeper、Netty、中都有对时间轮的实现。

时间轮简单来说就是一个环形的队列(底层一般基于数组实现),队列中的每一个元素(时间格)都可以存放一个定时任务列表。

时间轮中的每个时间格代表了时间轮的基本时间跨度或者说时间精度,假如时间一秒走一个时间格的话,那么这个时间轮的最高精度就是 1 秒(也就是说 3 s 和 3.9s 会在同一个时间格中)。

下图是一个有 12 个时间格的时间轮,转完一圈需要 12 s。当我们需要新建一个 3s 后执行的定时任务,只需要将定时任务放在下标为 3 的时间格中即可。当我们需要新建一个 9s 后执行的定时任务,只需要将定时任务放在下标为 9 的时间格中即可。

在这里插入图片描述

那当我们需要创建一个 13s 后执行的定时任务怎么办呢?这个时候可以引入一叫做 圈数/轮数 的概念,也就是说这个任务还是放在下标为 1 的时间格中, 不过它的圈数为 2 。

时间轮比较适合任务数量比较多的定时任务场景,它的任务写入和执行的时间复杂度都是 0(1)。

3.分布式定时/延时任务

3.1.Redis

Redis 是可以用来做延时任务的,基于 Redis 实现延时任务的功能无非就下面两种方案:

  • Redis 过期事件监听
  • Redisson 内置的延时队列

4.分布式任务调度框架

通常情况下,一个分布式定时任务的执行往往涉及到下面这些角色:

  • 任务:首先肯定是要执行的任务,这个任务就是具体的业务逻辑比如定时发送文章。
  • 调度器:其次是调度中心,调度中心主要负责任务管理,会分配任务给执行器。
  • 执行器:最后就是执行器,执行器接收调度器分派的任务并执行。

4.1.Quartz⭐

Java 定时任务领域的老大哥。

使用 Quartz 可以很方便地与 Spring 集成,并且支持动态添加任务和集群。

但是,Quartz 使用起来也比较麻烦,API 繁琐。并且,Quartz 并没有内置 UI 管理控制台,不过你可以使用 quartzui 这个开源项目来解决这个问题。

另外,Quartz 虽然也支持分布式任务。但是,它是在数据库层面,通过数据库的锁机制做的,有非常多的弊端比如系统侵入性严重、节点负载不均衡。有点伪分布式的味道。

4.2.ElasticJob

由两个相互独立的子项目 ElasticJob-Lite 和 ElasticJob-Cloud 组成。

ElasticJob-Lite 和 ElasticJob-Cloud 两者的对比如下:

ElasticJob-Lite ElasticJob-Cloud
无中心化
资源分配 不支持 支持
作业模式 常驻 常驻 + 瞬时
部署依赖 ZooKeeper ZooKeeper + Mesos

Elastic-Job 没有调度中心这一概念,而是使用 ZooKeeper 作为注册中心,注册中心负责协调分配任务到不同的节点上。

Elastic-Job 中的定时调度都是由执行器自行触发,这种设计也被称为去中心化设计(调度和处理都是执行器单独完成)。

@Component
@ElasticJobConf(name = "dayJob", cron = "0/10 * * * * ?", shardingTotalCount = 2,
        shardingItemParameters = "0=AAAA,1=BBBB", description = "简单任务", failover = true)
public class TestJob implements SimpleJob {
    
    
    @Override
    public void execute(ShardingContext shardingContext) {
    
    
        log.info("TestJob任务名:【{}】, 片数:【{}】, param=【{}】", shardingContext.getJobName(), shardingContext.getShardingTotalCount(),
                shardingContext.getShardingParameter());
    }
}

4.3.XXL-JOB⭐

XXL-JOB 由 调度中心 和 执行器 两大部分组成。调度中心主要负责任务管理、执行器管理以及日志管理。执行器主要是接收调度信号并处理。

另外,调度中心进行任务调度时,是通过自研 RPC 来实现的。不同于 Elastic-Job 的去中心化设计, XXL-JOB 的这种设计也被称为中心化设计(调度中心调度多个执行器执行任务)。

和 Quzrtz 类似, XXL-JOB 也是基于数据库锁调度任务,存在性能瓶颈。不过,一般在任务量不是特别大的情况下,可以满足绝大部分公司的要求。

我们要用 XXL-JOB 的话,只需要重写 IJobHandler 自定义任务执行逻辑就可以了,非常易用!

@JobHandler(value="myApiJobHandler")
@Component
public class MyApiJobHandler extends IJobHandler {
    
    

    @Override
    public ReturnT<String> execute(String param) throws Exception {
    
    
        //......
        return ReturnT.SUCCESS;
    }
}

还可以直接基于注解定义任务。

@XxlJob("myAnnotationJobHandler")
public ReturnT<String> myAnnotationJobHandler(String param) throws Exception {
    
    
  //......
  return ReturnT.SUCCESS;
}

在这里插入图片描述

优缺点总结:

  • 优点:开箱即用(学习成本比较低)、与 Spring 集成、支持分布式、支持集群、支持任务可视化管理。
  • 缺点:不支持动态添加任务(如果一定想要动态创建任务也是支持的,参见:xxl-job issue277)。

猜你喜欢

转载自blog.csdn.net/zhiaidaidai/article/details/146239362
今日推荐