Hadoop(三) 大数据离线计算与实时计算

分享一下我老师大神的人工智能教程吧。零基础,通俗易懂!风趣幽默!http://www.captainbed.net/

也欢迎大家转载本篇文章。分享知识,造福人民,实现我们中华民族伟大复兴!

               

一、大数据离线计算:MapReduce计算模型

1、MapReduce是处理HDFS上的数据

2、MapReduce的思想来源是PageRank(搜索排名),原理是进行分布式计算。


如上图,网页跳转中,访问网页3的次数最多,也就是权重最大的为网页3。比如京东、淘宝中给推荐的商品,就是近期访问的比较多的商品。

MapReduce的思想是把一个大任务拆分成多个小任务,再把小任务的结果汇总,得到最后的结果。


3、数据都是历史数据、数据已经存在(HDFS)


二、大数据实时计算:Apache Storm

1、特点:数据源源不断地产生,不停处理数据

2、例子:自来水厂


3、框架:Apache  Storm、Spark Streaming

4、格式:storm jar jar文件 任务的类名 任务的别名

storm jar storm-starter-topologies-1.0.3.jar.jar org.apache.storm.starter.WordCountTopology MyWC


三、搭建Hadoop的Eclipse开发环境(不推荐)

1、配置Hadoop Home

2、hadoop.dll复制到c:\windows\system32

3、配置环境变量

HADOOP_HOME

%HADOOP_HOME%/bin配置到PATH里

4、推荐:MRUnit(MapReduce Unit),类似Junit


小结

        对Hadoop的认识只停留在理论上,更多的操作在精力和时间的允许下有待实践。



           

给我老师的人工智能教程打call!http://www.captainbed.net/

这里写图片描述

猜你喜欢

转载自blog.csdn.net/qq_43725037/article/details/84298024