hadoop2 shell简介

0 简图：

1 命令所在位置：

[root@h2single511-115 bin]# pwd
/usr/local/hadoop2.4/bin

2 和hadoop1 shell的区别：

hadoop1	hadoop fs -ls / 其余写法类推
hadoop2	hdfs dfs -ls / 其余写法类推

3 查看帮助命令写法： hdfs -help

eg:

[root@h2single511-115 bin]# hdfs -help
Usage: hdfs [--config confdir] COMMAND
       where COMMAND is one of:
  dfs                  run a filesystem command on the file systems supported in Hadoop.
  namenode -format     format the DFS filesystem
  secondarynamenode    run the DFS secondary namenode
  namenode             run the DFS namenode
  journalnode          run the DFS journalnode

4 查看 hadoop2 dfs下每个命令详细写法：[root@h2single511-115 bin]# hdfs dfs -help

查看 hadoop2 dfs下命令汇总写法：[root@h2single511-115 bin]# hdfs dfs

查看 hadoop2 具体命令详细写法： hdfs dfs -help mkdir

eg:

[root@h2single511-115 bin]# hdfs dfs  -help mkdir
-mkdir [-p] <path> ...: Create a directory in specified location.
                  -p  Do not fail if the directory already exists

a)执行bin/hdfs dfs [-command]
b)-ls 显示文件夹的内容
i.-h 显示文件大小的时候，使用K\M\G显示文件大小
ii.-R 递归显示文件夹包含的内容
c)-mkdir 创建文件夹
i.-p 递归创建文件夹
d)-put 上传文件
i.-f 如果已经存在文件，那么强制覆盖
ii.-p 把linux上的文件的时间、所有者，还有模式一起复制到hdfs中
e)-text 查看文件内容，包括zip、avro等格式内容 比-cat查看格式广
f)-appendToFile 向hdfs已经存在的文件追加内容
g)-count 显示文件(夹)的数量
h)-get -p  hdfs文件   linux文件  如果下载文件已存在 则覆盖掉
i)-get -mv src  dest 移动hdfs文件从一个位置到另一个位置

hdfs dfs -chmod -R 755 /user 修改hdfs权限

6 常用到的：

hadoop distcp hdfs://hadoop0:8020/xx/user_test/dt=20130713(source) hdfs://hadoop10:8020/xx/user_test/dt=20130713(目标集群) alter table xxx add partiton(dt='20130713')

hadoop job -kill

hadoop job -list

hadoop version

hadoop jar xxx.jar arg...

hadoop admin:

hadoop balancer 数据重分布

hadoop dfsadmin hdfs管理命令比如安全模式进入和退出

hadoop namenode format 常用 hdfs namenode format

hadoop secondarynamenode

hdfs:

hdfs dfs -put src dest

hdfs dfs -get src local

hdfs fsck file 查看文件状态

hdfs dfs -du -h file 查看文件总大小

猜你喜欢