贝壳找房基于 Flink 的实时平台建设和Flink 在小米的应用与实践

《Flink 在小米的应用与实践

夏军

小米流式平台负责人

嘉宾简介:夏军,小米流式平台负责人,主要负责流式计算,消息队列,大数据集成等系统的研发工作,主要包括Flink,Spark Streaming,Storm,Kafka等开源系统和一系列小米自研的相关系统。

内容简介:1)小米流式计算发展历史  2)小米Flink具体应用场景解析 3)未来展望

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

《贝壳找房基于 Flink 的实时平台建设》

刘力云

贝壳找房-数据智能中心实时计算负责人

嘉宾简介:目前任职于贝壳找房数据智能部,实时计算负责人。曾任职于滴滴、IBM、新东方。工作领域涉及实时计算、大数据平台、推荐系统、文本分析、知识图谱等。目前负责贝壳找房实时计算平台的设计开发,该平台承载了公司的实时ETL、数据分析等任务;支持实时数仓、实时指标的建设。在滴滴期间负责数据平台知识图谱项目的调研、设计和开发,为数据平台提供更智能化的数据查找方式。在新东方期间从0到1搭建了新东方教育集团大数据平台,包含数据总线 CDC 的设计开发、数仓建设、查询平台搭建;开发了符合教育系统的实时推荐系统、文书比对查重系统等。在 IBM 期间负责的 ECM 产品中的重要组件的设计开发。

内容简介:实时计算在贝壳找房的发展历程:贝壳的实时计算最初以定制开发的方式,满足各种业务需求,随着需求越来越多,越来越复杂,定制开发已经远远不能满足日益增长的需求,也很难应对需求的变化。开发通用的实时计算平台成为了当务之急,贝壳实时计算平台 hermes 应运而生。目前平台能够支持模板任务、场景任务以及自定义任务的开发,提供了对平台上任务的全方位管理和监控,保障了任务的稳定、高效运行。贝壳找房实时数仓建设:随着实时计算平台功能的不断完善,使得实时数仓建设成为了可能。贝壳实时数据仓整体设计吸取了 lamda 架构和 kappa 架构的有点,为公司的二手、租赁、新房等业务的实时指标、实时分析提供了很好的支持。实时数仓在贝壳找房的未来发展方向:业务部门对实时数据的需求越来越强烈,涉及的方面也越来越多。实时运营、实时营销、实时风控、实时推荐等场景将来会是实时计算、实时数仓重要的应用场景。

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

如果觉得本文对你有帮助,请 点“在看” 、 分享朋友圈 ,你的支持是我们坚持写下去的理由!

想看更多大厂技术干货分享?请关注下方公号,回复“spark”,“flink”,“机器学习”,“前端”即可获取海量学习资料。

640?wx_fmt=jpeg

发布了40 篇原创文章 · 获赞 3 · 访问量 9091

猜你喜欢

转载自blog.csdn.net/huzechen/article/details/102548844