빅 데이터 섹션 5 저우
1.Hadoop의 시스템 구성
1.1 환경 설정
우리는 구성에 두 개의 파일이 필요합니다 hadoop-env.sh 및 yarn-env.sh , 구성 JAVA_HOME의 변수를.
-
hadoop-env.sh VI 다음에 수정 :
-
yarn-env.sh VI , 증가 : 내보내기 JAVA_HOME = / 홈 / 사용자 1 / jdk1.8 .
1.2 배치 core-site.xml
파일에 다음을 추가합니다 :
<특성>
<이름> fs.defaultFS </ 이름>
<값> HDFS : // 마스터 : 9000 </ 값>
</ 속성>
<특성>
<이름> hadoop.tmp.dir </ 이름>
<값> / 홈 / 사용자 1 / hadoopdata </ 값>
</ 속성>
1.3 구성 HDFS-site.xml 파일
파일에 다음을 추가합니다 :
<특성>
<이름> dfs.replication </ 이름>
<값> 1 </ 값>
<! - 세트 DFS 매수, 우리가 설정 한 ,이 경우에는, 아니 데이터 보안 ->
</ 속성>
<특성>
<이름> dfs.namenode.secondary.http 주소 </ 이름>
<값> 주 : 9001 </ 값>
<! - 설정 secondnamenode의 주소, 우리는 현재로 설정되어 네임 노드의 이 배열은 매우 부당, 노드, 그러나 우리의 현재 상황을 고려 ->
</ 속성>
1.4 배치 yarn-site.xml
파일에 다음을 추가합니다 :
<특성>
<이름> yarn.nodemanager.aux-서비스 </ 이름>
<값> mapreduce_shuffle </ 값>
</ 속성>
<특성>
<이름> yarn.nodemanager.aux-services.mapreduce_shuffle.class </ 이름>
<값> org.apache.hadoop.mapred.ShuffleHandler </ 값>
</ 속성>
<특성>
<이름> yarn.resourcemanager.address </ 이름>
<값> 주 : 8032 </ 값>
</ 속성>
<특성>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8035</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
1.5 配置mapred-site.xml
先把模板文件另存为非模板文件：cp mapred-site.xml.template mapred-site.xml
在文件中添加如下内容
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
1.6 配置slaves文件
删除文件原内容，添加
slave0
slave1
2.拷贝hadoop文件包到其他节点。
scp -r hadoop-2.7 slave0:~
scp -r hadoop-2.7 slave1:~
3. 启动hadoop集群前准备
3.1在namenode上建立文件夹
按照core-site.xml文件，建立文件夹。
3.2格式化namenode
hadoop namenode –format
如果显示DEPRECATED: Use of this script to execute hdfs command is deprecated.Instead use the hdfs command for it.
原来从0.21.0版本以后，hadoop 命令换成了hdfs命令，上面的命令如同下面的命令
hdfs namenode –format
命令执行后如果看到这句：
说明格式化成功了。
如格式化不成功，下次格式化之前，需要删除在namenode上建立的文件夹hadoopdata，然后重新建立文件夹hadoopdata。
4.启动Hadoop集群
start-all.sh
执行后，用jps检查java线程，master节点如图，slave节点如图：
如果不成功，检查配置文件。
测试：上传一个文件到集群 hadoop fs –put 文件名 /，然后检查：hadoop fs –ls /
5关闭集群
stop-all.sh
关闭虚拟机之前，请务必先关闭集群。