实时数据处理也就这么个玩法

自从AI的概念火起来之后,不玩玩实时 ,而只知道离线处理数据,似乎已经不满足现在对数据分析的要求了,深感逗比的同时,哥们还是浅浅介绍一下实时需要掌握的技巧和核心点,架构图请自己画切。
 

 技术支持:

        python + logstash + kafka + storm + hbase ( mysql )+ zookeeper + springboot + js + css + 高德map插件

核心要点:

    python 分析热数据到 logstash 格式化灌入 kafka  ,storm 实时分析数据  落地 hbase 或 mysql, ui实时抽取实时数据表现到高德地图中即可



图片



图片
图片
 

心得: 面对实时性较强 (比如实时推荐、实时展现),而非离线操作的业务,甚至可以干掉hbase以直接面向结果的方式进行 , 但是storm 处理完的结果 必须先落地到某个地方,再交给机器学习 ,如果不想落地咋办? 此时可以采用 spark streaming & ml lib  spark sql 结合的方式进行 流水式推荐 ,待下回分解。

 
想对AI有所建树,不学python,只是粗略掌握一套别人提供的架构,粗浅的开发开发就想装个逼,哥们介意还是别在这上边浪费时间了,

基于一通百通的原则,学数据架构会那么一套两套就差不多了,最重要的还是语言基础和算法分析。

欢迎互粉交流     春叁十娘

猜你喜欢

转载自blog.csdn.net/lisha006/article/details/82531807
今日推荐