文章目录
1.上传
1.-moveFromLocal:本地文件剪切粘贴到 HDFS
# hadoop fs -moveFromLocal 本地文件路径 HDFS文件目录
hadoop fs -moveFromLocal ./shuguo.txt /sanguo
2.-copyFromLocal:从本地文件系统中拷贝文件到 HDFS 路径去
# hadoop fs -moveFromLocal 本地文件路径 HDFS文件目录
hadoop fs -copyFromLocal ./shuguo.txt /sanguo
3.-put:等同于 copyFromLocal,生产环境更习惯用 put
# hadoop fs -moveFromLocal 本地文件路径 HDFS文件目录
hadoop fs -put ./shuguo.txt /sanguo
4.-appendToFile:追加一个文件到已经存在的文件末尾
#hadoop fs -appendToFile 本地要追加的文件 HDFS上被追加的文件
hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt # 把liubei.txt的内容追加到shuguo.txt后面
2.下载
1.-copyToLocal:从 HDFS 拷贝到本地
# hadoop fs -copyToLocal HDFS文件路径 本地路径
hadoop fs -copyToLocal /sanguo/shuguo.txt ./ # 将shuguo.txt拷贝到当前文件夹
2.-get:等同于 copyToLocal,生产环境更习惯用 get
# hadoop fs -get HDFS文件路径 本地路径
hadoop fs -get /sanguo/shuguo.txt ./shuguo2.txt # 将shuguo.txt拷贝到当前文件夹
3. HDFS 直接操作
1.-ls: 显示目录信息
hadoop fs -ls /sanguo
2.-cat:显示文件内容
hadoop fs -cat /sanguo/shuguo.txt
3.-chgrp、-chmod、-chown:Linux 文件系统中的用法一样,修改文件所属权限
hadoop fs -chmod 666 /sanguo/shuguo.txt
4.-mkdir:创建路径
hadoop fs -mkdir /jinguo
5.-cp:从 HDFS 的一个路径拷贝到 HDFS 的另一个路径
hadoop fs -cp /sanguo/shuguo.txt /jinguo
6.-mv:在 HDFS 目录中移动文件
hadoop fs -mv /sanguo/wuguo.txt /jinguo
7.-tail:显示一个文件的末尾 1kb 的数据
hadoop fs -tail /jinguo/shuguo.txt
8.-rm:删除文件或文件夹
hadoop fs -rm /sanguo/shuguo.txt
9.-rm -r:递归删除目录及目录里面内容
hadoop fs -rm -r /sanguo
10.-du 统计文件夹的大小信息
hadoop fs -du -s /jinguo #文件夹总大小
hadoop fs -du -h /jinguo #文件夹内部具体文件大小细节
11.-setrep:设置 HDFS 中文件的副本数量
这里设置的副本数只是记录在 NameNode 的元数据中,是否真的会有这么多副本,还得看 DataNode 的数量。因为目前只有 3 台设备,最多也就 3 个副本,只有节点数的增加到 10台时,副本数才能达到 10。
hadoop fs -setrep 10 /jinguo/shuguo.txt