【2020面试必备】聊聊高性能延时队列应用

在这里插入图片描述
延时队列的应用场景:

下单后,30分钟内未付款就自动取消订单等;

支付后,24小时未评论自动好评;

在我们实际开发过程中,应用场景很多…

基于Redis Zset 实现

实现原理

Redis由于其自身的Zset数据结构,也同样可以实现延时的操作。

Zset本质就是Set结构上加了个排序的功能,除了添加数据value之外,还提供另一属性score,这一属性在添加元素时候可以指定,每次指定score后,Zset会自动重新按新的值调整顺序。

如果score代表的是想要执行时间的时间戳,在某个时间将它插入Zset集合中,它会按照时间戳大小进行排序,也就是对执行时间前后进行排序。

> ZADD delay_queue 1581309229 taskId_1

(integer) 1

> ZADD delay_queue 1581309129  taskId_2

(integer) 1

> ZADD delay_queue 1581309329  taskId_3

(integer) 1

不断地进行取第一个key值,如果当前时间戳大于等于该key值的socre就将它取出来进行消费删除,就可以达到延时执行的目的。 注意不需要遍历整个Zset集合,以免造成性能浪费。

> ZRANGE delay_queue 0 -1 withscores

1) "taskId_2"

2) "1581309129"

3) "taskId_1"

4) "1581309229"

5) "taskId_3"

6) "1581309329"

使用注意

遍历逻辑,删除逻辑,注意使用Redis Lua封装,确保原子性操作。更要注意Redis Lua在 Redis Cluster 的伪集群问题。

若是JAVA 语言可以直接使用redisson,封装了DelayedQueue的实现。

源码逻辑org/redisson/RedissonDelayedQueue.java

在这里插入图片描述
Beanstalkd 消息队列

Beanstalkd,一个高性能、轻量级的分布式内存队列系统。支持过有9.5 million用户的Facebook Causes应用。后来开源,现在有PostRank大规模部署和使用,每天处理百万级任务。

部署使用

Linux 安装 || docker 部署

yum install beanstalkd

||

docker run-d-p 11300:11300 pig4cloud/beanstalkd

客户端使用,pom 依赖

<!--封装了 官方的 java sdk,只支持 springboot 2.X-->

<dependency>

    <groupId>com.pig4cloud.beanstalk</groupId>

    <artifactId>beanstalkd-client-spring-boot-starter</artifactId>

    <version>0.0.1</version>

</dependency>

默认配置

在这里插入图片描述
代码使用

@Autowired

private JobProducer producer;

/**

* @param delay    是一个整形数,表示将job放入ready队列需要等待的秒数

* @param ttr      time to run—是一个整形数,表示允许一个worker执行该job的秒数。这个时间将从一个worker 获取一个job开始计算。

*                如果该worker没能在<ttr> 秒内删除、释放或休眠该job,这个job就会超时,服务端会主动释放该job。

*                最小ttr为1。如果客户端设置了0,服务端会默认将其增加到1。

* @param priority 优先级 0~2**32的整数,最高优先级是0

*/

@Test

public void testSend() {

String taskId = "1";// 业务对象信息

    producer.putJob(0, 10, 10, taskId.getBytes());

}
@Component

public class DemoJobConsumer extends AbstractTubeConsumerListener {

    @Override

    public void work(JobConsumer consumer) {

        // 阻塞多少秒获取一次 Job

        Job job = consumer.reserveJob(1000L);

        // 消费此Job

        consumer.deleteJob(job.getId());

        // 执行延时的业务逻辑

        String biz = new String(job.getData());

    }

}

扩展

数据库,利用定时任务轮询实现,业务量大会性能瓶颈。

延时队列的其他实现,比如 rabbitmq 利用ttl特性可以实现。无法取消已放入队列里面的数据,使用时特别注意死信队列的配置等。

还可以自己根据 时间轮片的算法 自行实现 。

总之一切,都要有补偿的逻辑,无论是业务人员手动触发还是自动补偿。

喜欢的小伙伴可以关注转发一下哦,如果有需要面试资料的小伙伴可以戳一下哦

在这里插入图片描述

发布了13 篇原创文章 · 获赞 5 · 访问量 4115

猜你喜欢

转载自blog.csdn.net/ZYQZXF/article/details/104264764