Hadoop常见命令总结

注意:使用hadoop命令时,/ 代表是$HADOOP_HOME的目录(即HDFS文件系统的根目录),要和本地主机的/区分开。

1.上传文件到hdfs系统的根目录下:

    hadoop fs -put filename /

     查看:hadoop fs -ls /

        

    进入到自己设置的存放data的目录,输入 ls -lrt   可以看到Block的列表信息

        

       最大的Block大小为134217728kb/1024/1024=128MB.

       即hadoop dfs 根据默认值将上传的文件大小拆分为128MB的Block。

创建hdfs目录:hadoop fs -mkdir -p /Hadoop/documents


扫描二维码关注公众号,回复: 1889502 查看本文章

创建文件:hdfs dfs -touchz /new.txt


HDFS中,/parent/child可以表示为hdfs://namenode:namenodePort/parent/child   如何配置文件是namenode:namenodePort,可以更简单的写为/parent/child

2.将本地文件内容上传追加到hdfs系统中的文件中

    hdfs fs -appendToFile  本地文件  hdfs文本文件

   hdfs dfs rmr /   -------------删除hdfs下的所有文件

    hdfs dfs -mv filename newfilename  ------------hdfs文件系统内部之间重命名文件

     hdfs dfs -get /filename  本地目录 ----------------从hdfs文件系统中下载文件到本地

     hdfs dfs -moveFromLocal  本地文件  hdfs目录  ---------------把本地文件移动到hdfs中。

     hdfs dfs -chgrp -R yexin /  -----------------------------修改hdfs的/目录下的所有文件的所属用户为yexin

     hdfs dfs -chmod -R 777 /  ------------------------------修改目录权限

     sudo hdfs dfs -chown -R root:root / -----------------修改目录小所有文件的所有者

文件系统shell:(许多命令和linux雷同

                        hadoop fs {args}   -------------使用面广,可以操作任何文件系统

                        hadoop dfs {args}   -----------和下面的一起只能操作HDFS 相关的文件系统

                       hdfs dfs {args}

                      使用hdfs dfs -help   -------------查看命令列表

                      使用hdfs dfsadmin -help   -------------HDFS管理员查看命令列表

在任意配置好的hadoop环境下的目录中,运行start-dfs.sh 可以启动HDFS进程。


查看系统是否处于安全模式:


hdfs dfsadmin -safemode enter------------进入安全模式

hdfs dfsadmin -safemode leave------------离开安全模式

创建和查看文件:

显示占用磁盘的空间大小


查看某个不断增加的文件:

hdfs dfs -tail [-f] <file>

通过键盘输入追写文件,并且查看内容


将本地文件数据追写到hdfs系统的文件中:

上传本地文件到hdfs系统中

从hdfs系统下载文件到本地


hdfs dfs -rm -r /data-----------删除文件

core-site.xml中如果没有配置fs.trash.interval,则默认为0,即直接删除,不会保留一段时间。

查看文件占用的磁盘空间大小:

dfsadmin 命令

namenode命令



猜你喜欢

转载自blog.csdn.net/qq_25948717/article/details/80413653