Hadoop基础教程-第3章 HDFS:分布式文件系统(3.3 HDFS参数解读)

第3章 HDFS:分布式文件系统

3.3 HDFS参数解读

3.3.1 官方文档

Hadoop官方文档地址: 
http://hadoop.apache.org/docs/r2.7.3/

由于Hadoop相关参数页面需要通过FireFox浏览器打开,这里需要你先安装FireFox浏览器。

这里写图片描述

下拉页面,可以在页面左下角找到“Configuration”,其下面有core-site.xml、hdfs-site.xml两个链接。本节内容主要是解读一下这两个文件中的主要参数。

这里写图片描述

2017-5-25 更新: 
现在官方已经能更新谷歌浏览器也可以打开默认参数页面了 
这里写图片描述

3.3.2 core-site.xml

集群全局参数在core-site.xml文件中设置,用于定义系统级别的参数,如HDFS URL、Hadoop的临时目录等。 
通过FireFox打开“Configuration”的“core-site.xml”链接: 
http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/core-default.xml 
这里写图片描述

名称 默认值 说明
hadoop.tmp.dir /tmp/hadoop-${user.name} 临时文件夹
fs.defaultFS file:/// 文件系统主机和端口
io.file.buffer.size 4096 流文件的缓冲区大小,建议设置为65536 ( 64K)

3.3.3 hdfs-site.xml

HDFS相关参数在hdfs-site.xml文件中设置,如名称节点和数据节点的存放位置、文件副本的个数、文件读取权限等。 
通过FireFox打开“Configuration”的“hdfs-site.xml”链接: 
http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml 
这里写图片描述

名称 默认值 说明
dfs.name.dir ${hadoop.tmp.dir}/dfs/name NameNode 元数据存放位置
dfs.data.dir ${hadoop.tmp.dir}/dfs/data DataNode在本地磁盘存放block的位置,可以是以逗号分隔的目录列表
dfs.permissions true 检查权限
dfs.replication 3 文件副本数
dfs.namenode.secondary.http-address 0.0.0.0:50090 定义HDFS对应的HTTP服务器地址和端口
灰常灰常感谢原博主的辛苦工作,为防止删博,所以转载,只供学习使用,不做其他任何商业用途。 https://blog.csdn.net/chengyuqiang/article/details/72026997

猜你喜欢

转载自blog.csdn.net/airufengye/article/details/80610994
今日推荐