大数据资源pdf

网盘下载地址：https://u18103887.pipipan.com/fs/18103887-312143745
大数据资源共享
我们是一群热爱并正在研究大数据技术的成员，我们相信完善的知识结构体系文档
可以帮助任何热爱技术的人员解决绝大多数的问题，成为工作中的技术大咖，技术
牛人。

不足之处请多提意见，当然我们也希望您能参与我们的的整改，使本文档更加完
善，能够帮助到更多人
hadoop 2.6.0集群安装
准备工作
安装好 jdk 1.8 64位以上
安装好 集群ssh免密登录
hadoop 安装包 hadoop-2.6.0.tar.gz
操做系统 ubuntu 15 64位

集群环境如下
各节点分布
s0为master主控制节点

192.168.0.110 s0
192.168.0.111 s1
192.168.0.112 s2
192.168.0.113 s3
192.168.0.114 s4

集群配置说明

先在s0上配置完成所有配置信息，然后同步到所有集群每一个节点上，所有配置包括安装路径是一样的

操作步骤
解压hadoop安装包

			tar	-zxvf		hadoop-2.6.0.tar.gz			-C					/opt/modules/bigdata/hadoop	即:$HADOOP_HOME=/opt/modules/bigdata/hadoop/hadoop-2.6.0

修改配置文件

大数据资源共享

参与方式 12

修改文件$HADOOP_HOME/etc/hadoop/hadoop-env.sh 增加

			export	JAVA_HOME=/opt/modules/environment/jdk/jdk1.8.0_65
			export	HADOOP_HOME=/opt/modules/bigdata/hadoop/hadoop-2.6.0					

修改文件$HADOOP_HOME/etc/hadoop/core-site.xml

			<?xml	version="1.0"	encoding="UTF-8"?>				
			<?xml-stylesheet	type="text/xsl"	href="configuration.xsl"?>
			<configuration>

									<property>
															<name>fs.defaultFS</name>
															<value>hdfs://s0:9000</value>
									</property>
									<property>
													<name>hadoop.tmp.dir</name>
													<value>/opt/modules/bigdata/hadoop/hadoop-2.6.0/tmp/hadoop-${user.name}</value>
													<description>A	base	for	other	temporary	directories.</description>
									</property>		
										<property>
													<name>hadoop.native.lib</name>
													<value>true</value>
													<description>Should	native	hadoop	libraries,if	present,bu	used</description>
									</property>	
			</configuration>

修改文件$HADOOP_HOME/etc/hadoop/hdfs-site.xml

大数据资源共享

参与方式 13

<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> dfs.replication 2 dfs.namenode.secondary.http-address s2:50090 The secondary namenode http server address and port dfs.namenode.name.dir ${hadoop.tmp.dir}/dfs/name dfs.datanode.data.dir ${hadoop.tmp.dir}/dfs/data dfs.namenode.checkpoint.dir file://${hadoop.tmp.dir}/dfs/namesecondary Determines where on the local filesystem the DFS secondary name node should store the temporary images to merge. If this is a comma-delimited list of directories then the image is replicated in all of the directories for redundancy.

修改文件$HADOOP_HOME/etc/hadoop/mapred-site.xml
网盘下载地址：[https://u18103887.pipipan.com/fs/18103887-312143745]