HDFS的一些常用指令

一、查看HDFS的文件目录

  1  列出HDFS下的文件

  /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -ls

   2 列出HDFS文件下名为in的文档中的文件

  /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -ls in

二、 上传文件

  1 将hadoop目录下的test1文件上传到HDFS上:

  /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -put test1

  2 将hadoop目录下的test1文件上传到HDFS上并重命名为test:

  /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -put test1 test

三、 文件被复制到本地系统中

  将HDFS中的in文件复制到本地系统并命名为getin:

  /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -get in getin

四、 删除文档

  1 删除HDFS下名为out的文件:

  /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -rmr out

  2 删除HDFS下名为out的文件夹:

  /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -rm out

五、 查看文件内容

  查看HDFS下in文件中的内容:

  /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -cat in/*

六、 建立目录

  /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -mkdir /user/hadoop/examples(目录/目录名)

  只能一级一级的建目录。

七、复制文件

  /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -copyFromLocal 源路径 路径

八、通过Hadoop命令把两个文件的内容合并起来

  hdfs dfs -getmerge 位于hdfs中的原文件(里面有多个文件) 合并后的文件名
  例如: hdfs dfs -getmerge hdfs://Master:9000/data/SogouResult.txt CombinedResult

   注:合并后的文件位于当前目录,不在hdfs中,是本地文件

猜你喜欢

转载自www.cnblogs.com/wei-520/p/13382547.html