大数据框架Hadoop——基本概念了解

  • hadoop是什么?What Is Apache Hadoop?

    The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.

  • hadoop主要解决的三大问题:

    海量数据的存储(HDFS)

    海量数据的分析(MapReduce)

    资源管理调度(YARN)

  • 作者:Doug Cutting

    受Google三篇论文的启发(GFS、MapReduce、BigTable)

  • hadoop具体能做什么?    

    hadoop擅长日志分析,facebook就用Hive来进行日志分析,2009年时facebook就有非编程人员的30%的人使用HiveQL进行数据分析;淘宝搜索中的自定义筛选也使用的Hive;利用Pig还可以做高级的数据处理,包括Twitter、LinkedIn 上用于发现您可能认识的人,可以实现类似Amazon.com的协同过滤的推荐效果。淘宝的商品推荐也是!在Yahoo!的40%的Hadoop作业是用pig运行的,包括垃圾邮件的识别和过滤,还有用户特征建模。(2012年8月25新更新,天猫的推荐系统是hive,少量尝试mahout!)

  • 都有哪些公司使用hadoop

    Hadoop被公认是一套行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力。几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。大型IT公司,如EMC、Microsoft、Intel、Teradata、Cisco都明显增加了Hadoop方面的投入。

  • hadoop架构

  •  hadoop和虚拟化的差异

  • hadoop的特点

    扩容能力(Scalable):能可靠地(reliably)存储和处理千兆字节(PB)数据。

    成本低(Economical):可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。

    高效率(Efficient):通过分发数据,hadoop可以在数据所在的节点上并行地(parallel)处理它们,这使得处理非常的快速。

    可靠性(Reliable):hadoop能自动地维护数据的多份副本,并且在任务失败后能自动地重新部署(redeploy)计算任务。 

  •  hadoop部署方式

    本地模式

    伪分布模式

    集群模式

  • 伪分布模式安装步骤

    关闭防火墙

    修改ip

    修改hostname

    设置ssh自动登录

    安装jdk

    安装hadoop

猜你喜欢

转载自blog.csdn.net/m0_37725003/article/details/81174676