HDFS优化常用项

dfs.datanode.max.transfer.threads

一个datanode上最多能创建多少个XDataceiver进程   4096个(datanode收到一个请求就要创建一个XDataceiver进程)

dfs.namenode.handler.count

 NameNode中用于处理RPC调用的线程数,默认为10。对于较大的集群和配置较好的服务器,可适当增加这个数值来提升NameNode RPC服务的并发度。

 64

dfs.datanode.handler.count

  DataNode中用于处理RPC调用的线程数,默认为3。可适当增加这个数值来提升DataNode RPC服务的并发度。 
***线程数的提高将增加DataNode的内存需求,因此,不宜过度调整这个数值。

  10

猜你喜欢

转载自blog.csdn.net/paulfrank_zhang/article/details/81304396