hadoop_随笔二_参数

1) dfs.datanode.handler.count :

datanode上用于处理RPC的线程数。默认为3,较大集群,可适当调大些,比如8。需要注意的是,每添加一个线程,需要的内存增加。

2)tasktracker.http.threads:

HTTP server上的线程数。运行在每个TaskTracker上,用于处理map task输出。大集群,可以将其设为40~50

3)dfs.replication :

文件副本数,通常设为3,不推荐修改

4)dfs.block.size

HDFS中数据block大小,默认为64M

5)mapred.local.dir

运行 mapreduce 中间结果存储处 

猜你喜欢

转载自www.cnblogs.com/xiaoliwm/p/10119483.html