HDFS原理1

1、思考,自己设计一分布式文件系统?

块(block)

流水线(pipeline)

2、分布式文件系统

通透性、容错(备份)

适用于一次写入多次查询的情况,不支持并发写情况,小文件不合适。

3、HDFS的相关命令

3.1、查看命令:

hadoop fs -ls hdfs://hostname:9000/

3.2、上传命令

hadoop fs -copyFromLocal 本地文件 hdfs文件

3.3、查看文件命令

hadoop fs -cat hdfs文件 | more

3.4、统计文件、文件夹数量

hadoop fs -count /

PS:根目录算一个文件夹

3.5、下载hdfs文件到本地

hadoop fs -get hdfs文件路径 本地路径

3.6、列出HDFS文件

hadoop fs -ls -R -h hdfs路径

3.7、在HDFS上创建目录

hadoop fs mkdir 目录

3.8、删除HDFS上的文件

hadoop fs -rm HDFS上的文件

如果要删除文件夹,则:

hadoop fs -rm -r HDFS上的文件夹

3.9、使用chmod修改文件权限

hadoop fs -chmod a+x hdfs文件

hadoop fs -chmod -R -x hdfs文件(递归)

3.10、使用chown修改文件的用户

hadoop fs -chown supergroup hdfs文件

3.11、使用chgrp修改文件的组

hadoop fs -chgrp root hdfs文件

3.12、同时修改文件的用户和组

hadoop fs -chown root:supergroup hdfs文件

猜你喜欢

转载自xiaotutu365.iteye.com/blog/2375361