druid.io架构的个人理解学习

druid官方文档

架构图

在这里插入图片描述

需要回答的问题

数据怎么进入系统

实时数据,离线数据直接创建任务发送到Overlord (外部系统传输数据到Druid)

数据怎么存储

离线(非实时部分)数据:存储到深度存储,数据元信息写入元数据库,由coordinator将数据加载到historical
实时数据:存在middle的堆内/堆外内存中

数据怎么查询,为什么能实时查询

有broker节点转发查询到 historical 和 middle, 完成查询(即:支持离线和实时数据查询)

查询为什么很快(很多方面)

coordinator定时任务会均衡数据在historical的分布,查询分散到由很多historical处理,所有historical都处理好了之后再在broker做排序归并

  • 查询简化图
    在这里插入图片描述

两篇关于druid.io架构的思考文章

part 1
part 2

发布了441 篇原创文章 · 获赞 110 · 访问量 57万+

猜你喜欢

转载自blog.csdn.net/qq_26437925/article/details/100716259