HDFS操作命令

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/cjDaShuJu_Java/article/details/82226546

操作HDFS
    1、通过Web Console: 50070、50090
    2、命令行
        (1)操作命令  hdfs dfs *****
            -mkdir  创建目录
                举例:hdfs dfs -mkdir /aaa
                      hdfs dfs -mkdir -p /bbb/ccc
                      -p 表示如果父目录不存在 先创建父目录
                    
            -ls      查看某个目录
            -ls -R   查看某个目录,包含子目录
                     简写: -lsr
            
            -put             上传数据  hdfs dfs -put data.txt /input
            -copyFromLocal   上传数据  hdfs dfs -copyFromLocal data.txt /input
            -moveFromLocal   上传数据(相当于 ctrl+x 剪切)
            
            -copyToLocal     下载数据
            -get             下载数据
                    
            -rm    删除目录
            -rmr   删除目录(包含子目录)
            hdfs dfs -rmr /tools
                rmr: DEPRECATED: Please use 'rm -r' instead.
                
                日志:
                18/04/09 21:35:40 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.
                Deleted /tools ---> 成功删除(对比:回收站)

            -getmerge: 把某个目录下的文件先合并,再下载(提高效率)
                        [root@bigdata111 temp]# vi student01.txt
                        [root@bigdata111 temp]# vi student02.txt
                        [root@bigdata111 temp]# hdfs dfs -mkdir /students
                        [root@bigdata111 temp]# hdfs dfs -put student0*.txt /students
                        [root@bigdata111 temp]# hdfs dfs -ls /students
                        [root@bigdata111 temp]# hdfs dfs -getmerge /students ~/temp/allstudent.txt            
            
            -cp:  hdfs dfs -cp /input/data.txt /input/data2.txt
            -mv:  hdfs dfs -cp /input/data.txt /students
            
            -count: hdfs dfs -count /students
                            hdfs dfs -count /students
                           1            2                 29       /students            
                          目录个数,  文件个数,   文件总计大小      输入路径
                          
            -du 每个文件的大小
                [root@bigdata111 temp]# hdfs dfs -du /students
                19  /students/student01.txt
                10  /students/student02.txt
                    
            -text、-cat  查看文件的内容
                   hdfs dfs -cat /students/student01.txt
                    
            balancer: 平衡操作    
        
        (2)管理命令  hdfs dfsadmin *****
                -report: 输出HDFS的报告(Summary)
                -safemode: 安全模式
                    [root@bigdata111 temp]# hdfs dfsadmin -safemode
                    Usage: hdfs dfsadmin [-safemode enter | leave | get | wait]
                    [root@bigdata111 temp]# hdfs dfsadmin -safemode get
                    Safe mode is OFF
                    [root@bigdata111 temp]# hdfs dfsadmin -safemode enter
                    Safe mode is ON
                    [root@bigdata111 temp]# hdfs dfs -mkdir /aaaa
                    mkdir: Cannot create directory /aaaa. Name node is in safe mode.
                    [root@bigdata111 temp]# hdfs dfsadmin -safemode leave
                    Safe mode is OFF

猜你喜欢

转载自blog.csdn.net/cjDaShuJu_Java/article/details/82226546