AWS大数据之组件整合

kafka或kinesis 做数据收集
S3+redshift 做数仓
EMR做计算
RDS做数据市场
AWS Glue / AWS Data Pipeline 做数据集成

这些组件配合起来,几乎可以做各种方式的数据分析
kinesis还是比较推荐,延迟时间可以配置的算是实时的,而且功能会多一点,聚合、过滤什么的都可以

更多的组合请参见这篇官方文档,我是从里面选了几个做为我的最侍实践方案,前期足够使用
https://aws.amazon.com/cn/big-data/datalakes-and-analytics/?nc2=h_m2

后续按需扩展服务不会产生影响或是工作量的重复

猜你喜欢

转载自blog.csdn.net/wangqiang9x/article/details/84787930