hadoop集群启动及基础测试

集群成员:master、node1、node2
搭建hadoop完全分布式集群请关注我的另一篇文章:
    hadoop2.7.2在Linux Ubuntu16.04虚拟机上的集群搭建

1)启动集群

(0)如果集群是第一次启动,需要格式化 namenode
hadoop@node1:~$ hdfs namenode –format
hadoop@node2:~$ hdfs namenode -format

(1)启动 HDFS:
hadoop@master:~$ start-dfs.sh
hadoop@master:~$ jps

显示结果为:
4519 SecondaryNameNode
4679 ResourceManager
4284 NameNode
4940 Jps

hadoop@node1:~$ start-dfs.sh
hadoop@node1:~$ jps

显示结果为:
1937 DataNode
2276 Jps
2090 NodeManager

hadoop@node2:~$ start-dfs.sh
hadoop@node2:~$ jps

显示结果为:
3606 Jps
3254 DataNode
3407 NodeManager

(2)启动 yarn
sbin/start-yarn.sh
注意:Namenode 和 ResourceManger 如果不是同一台机器,不能在 NameNode 上启
动 yarn,应该在 ResouceManager 所在的机器上启动 yarn。

2)集群基本测试

(1)上传文件到集群
上传小文件
bin/hdfs dfs -mkdir -p /user/hadoop/tmp/conf
bin/hdfs dfs -put etc/hadoop/*-site.xml /user/hadoop/tmp/conf

上传大文件
hadoop@node1:~$ bin/hadoop fs -put hadoop_home/hadoop-2.7.2.tar.gz /user/hadoop/input

(2)上传文件后查看文件存放在什么位置
文件存储路径
[hadoop@node1 subdir0]$ pwd

显示结果为:
/home/hadoop/hadoop_home/tmp/dfs/data/current/BP-938951106-192.168.10.107-1495462844069/current/finalized/subdir0/subdir0

查看文件内容
[hadoop@node1 subdir0]$ cat blk_1073741825

显示结果为:
hadoop
hadoop
hadoop

(3)拼接

如对下面的文件进行拼接:
-rw-rw-r--. 1 hadoop hadoop 134217728 5 月 23 16:01 blk_1073741836
-rw-rw-r--. 1 hadoop hadoop 1048583 5 月 23 16:01 blk_1073741836_1012.meta
-rw-rw-r--. 1 hadoop hadoop 63439959 5 月 23 16:01 blk_1073741837
-rw-rw-r--. 1 hadoop hadoop 495635 5 月 23 16:01 blk_1073741837_1013.meta

[hadoop@node1 subdir0]$ cat blk_1073741836>>tmp.file
[hadoop@node1 subdir0]$ cat blk_1073741837>>tmp.file
[hadoop@node1 subdir0]$ tar -zxvf tmp.file

扫描二维码关注公众号,回复: 5388585 查看本文章

(4)下载
hadoop@node1:~$ bin/hadoop fs -get /user/hadoop/input/hadoop-2.7.2.tar.gz

2)Hadoop 启动停止方式

1)各个服务组件逐一启动
(1)分别启动/终止 hdfs 组件
hadoop-daemon.sh start/stop namenode/datanode/secondarynamenode
(2)启动/终止 yarn
yarn-daemon.sh start/stop resourcemanager/nodemanager

2)各个模块分开启动(配置 ssh 是前提)常用
(1)整体启动/停止 hdfs
start-dfs.sh
stop-dfs.sh

(2)整体启动/停止 yarn
start-yarn.sh
stop-yarn.sh

3)全部启动(不建议使用)
start-all.sh
stop-all.sh

猜你喜欢

转载自blog.csdn.net/qq_36885128/article/details/88067401