开源大数据周刊-第61期

阅读原文请点击

摘要: EMR资讯: 在北京举行的Strata Data 会议上,EMR团队的木艮进行了《Hadoop遇到云上对象存储——实现原理、陷阱和性能优化》的主题分享 EMR + ECS D1机型的数据高可靠方案进行中,8月底将会正式提供服务。

EMR资讯:

  • 在北京举行的Strata Data 会议上,EMR团队的木艮进行了《Hadoop遇到云上对象存储——实现原理、陷阱和性能优化》的主题分享
  • EMR + ECS D1机型的数据高可靠方案进行中,8月底将会正式提供服务。
  • EMR团队将会在Hadoop上进行改造,支持阿里云的主子账号的AK认证访问Hadoop体系。

资讯

  • 全球最顶级大数据盛会Strata Data Conference在北京成功落幕

    2017年7月13-15日,全球最顶级大数据会议Strata Data Conference在京成功举办。Strata大会由O'Reilly Media和Cloudera联合举办,被《福布斯》杂志誉为“大数据运动的里程碑”。

  • 以今日头条为例,详述数据思维驱动产品设计的方法论

    今日头条用了短短5年时间,成为移动端新闻媒体的独角兽,2016年末,完成10亿美金D轮融资,估值近110亿美元,成功挤入互联网第二梯队。如一句老话所说,世上没有平白无故的成功,当了解了今日头条如何打磨产品功能和交互设计后,笔者发现其成功是必然的,也是有迹可循的,这一切都源于自上而下的数据化思维。

  • 开源大数据查询分析引擎现状

    本文对Hive、Impala、Shark、Stinger和Presto这五类主流的开源大数据查询分析引擎进行简要介绍以及性能比较,最后进 行总结与展望。

技术

  • 同程旅游实时计算的演进

    同程旅游 (LY.COM) 是一家专业的一站式旅游预订平台,提供近万家景点门票、特价机票、出国旅游、周边游、自驾游及酒店预订服务 ; 专业旅游线路服务。全年公司服务人次超过 3 亿。目前同程旅游各个业务线,如:国内国际酒店,机票,火车票,会员,商业智能,分析等等都使用实时计算平台来构建实时类系统。

  • 基于storm的实时计算应用实践

    有赞使用storm已经有将近3年时间,稳定支撑着实时统计、数据同步、对账、监控、风控等业务。订单实时统计是其中一个典型的业务,对数据准确性、性能等方面都有较高要求,也是上线时间最久的一个实时计算应用。通过订单实时统计,描述使用storm时,遇到的准确性、性能、可靠性等方面的问题。

  • Spark SQL中Join常用的几种实现&version=12020810&nettype=WIFI&fontScale=100&pass_ticket=V8IOnv6s5CmLzg3%2BLufsCk7Nvuv9U4kPvGi8f5g0mzt%2BRne04RxdIpCXJZjtLgQC)

    Join是SQL语句中的常用操作,良好的表结构能够将数据分散在不同的表中,使其符合某种范式,减少表冗余、更新容错等。而建立表和表之间关系的最佳方式就是Join操作。
    SparkSQL作为大数据领域的SQL实现,自然也对Join操作做了不少优化,今天主要看一下在SparkSQL中对于Join,常见的3种实现。

  • Hadoop Yarn调度器的选择和使用

    Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。

欢迎入群技术交流!

_HBase_dingding

EMR_dingding

云HBase微信交流群请加:g418615


版权声明:信息都是来自互联网,如果侵权,请联系我们,我们负责删除。

阅读原文请点击

猜你喜欢

转载自1369049491.iteye.com/blog/2386599