hadoop搭建集群
1 .生成公钥和私钥
ssh-keygen -t rsa
一直按回车
ssh-copy-id hadoop101
自己的服务器也需要配置
ssh-copy-id hadoop103
hadoop103的是ip地址
自己的服务器也需要配置
2.需要配置的文件
core-site.xml
hdfs.xml有三个配置文件:
hadoop-env.sh
hdfs-site.xml
slaves
yarn有两个配置文件
yarn-env.sh
yarn-site.xml
mapreduce
mapred-env.sh
mapred-site.xml
core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop100:900</value>
</property> <property>
<name>hadoop.tmp.dir/name>
<value>/opt/module/hadoop/data/tmp</value>
</property>
hdfs-site.xml
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node12:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
配置slaves
各个节点的ip地址
yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop103</value>
</property>
集群第一次启动,格式化namenode
先删除data 和logs
hadoop namenode -format
启动完sbin/start-dfs.sh
访问namenode节点:http://node1:50070