1、思考,自己设计一分布式文件系统?
块(block)
流水线(pipeline)
2、分布式文件系统
通透性、容错(备份)
适用于一次写入多次查询的情况,不支持并发写情况,小文件不合适。
3、HDFS的相关命令
3.1、查看命令:
hadoop fs -ls hdfs://hostname:9000/
3.2、上传命令
hadoop fs -copyFromLocal 本地文件 hdfs文件
3.3、查看文件命令
hadoop fs -cat hdfs文件 | more
3.4、统计文件、文件夹数量
hadoop fs -count /
PS:根目录算一个文件夹
3.5、下载hdfs文件到本地
hadoop fs -get hdfs文件路径 本地路径
3.6、列出HDFS文件
hadoop fs -ls -R -h hdfs路径
3.7、在HDFS上创建目录
hadoop fs mkdir 目录
3.8、删除HDFS上的文件
hadoop fs -rm HDFS上的文件
如果要删除文件夹,则:
hadoop fs -rm -r HDFS上的文件夹
3.9、使用chmod修改文件权限
hadoop fs -chmod a+x hdfs文件
hadoop fs -chmod -R -x hdfs文件(递归)
3.10、使用chown修改文件的用户
hadoop fs -chown supergroup hdfs文件
3.11、使用chgrp修改文件的组
hadoop fs -chgrp root hdfs文件
3.12、同时修改文件的用户和组
hadoop fs -chown root:supergroup hdfs文件