亿级流量场景下,大型缓存架构的虚拟机环境搭建[2]

承接之前的博:亿级流量场景下,大型缓存架构的虚拟机环境搭建

续写本博客:

************** start:

  接下来,我们是要讲解商品详情页缓存架构,缓存预热和解决方案,缓存预热可能导致整个系统崩溃的问题以及解决方案;

  缓存--->热: 预热;热数据

  解决方案中和架构设计中,会引入大数据的实时计算技术---> storm;

  为什么引入这storm,必须是storm吗,我们后面面去讲解那个解决方案的时候再说;

  为什么引入storm:

  因为一些热点数据相关的一些实时处理方案,比如快速预热,热点数据的实时感知以及快速降级,都会用到storm,

因为我们可能需要实时的去计算出热点缓存数据,实时计算,亿级流量,高并发,大量的请求处理。这个时候你要做一些实时计算,

那么必须涉及到分布式一些技术,分布式技术才能处理高并发,大量的请求,目前在计算的领域,最成熟的大数据技术就是storm;storm分布式的大数据实时计算技术/系统;

  java工程师跟storm之间的关系是什么呢?

  大公司的java工程师都会用到一些大数据的技术:比如:storm,hbase,zookeeper,或者hive,spark等。

  Storm: 实时缓存热点数据统计--->缓存预热,缓存热点数据自动降级;

  Hive:Hadoop生态栈中做数据仓库的系统,高并发访问下,海量请求日志的批量统计分析,日报,月报,周报,接口调用情况等;比如有一些公司将海量的请求日志达到hive里边

做离线分析,然后反过来优化自己的系统。

  Spark:离线批量数据处理,比如从DB中一次性批量处理几亿的数据,清洗和处理后写入Redis中提供后续系统使用;大型互联网公司的用户相关数据等。

  zookeeper:分布式协调,分布式锁。分布式选举-->高可用HA架构,轻量级元数据存储。

  HBase:海量数据的在线存储和简单查询,替代mysql的分库分表,提供更好的伸缩性。

  

       

猜你喜欢

转载自www.cnblogs.com/gxyandwmm/p/10546052.html