6.6 hadoop作业调优

提高速度和性能。可以从下面几个点去优化

可以在本地运行调试来优化性能,但是本地和集群是完全不同的环境,数据流模式也截然不同,性能优化要在集群上测试。有些问题如(内存溢出)只能在集群上重现。

HPROF任务分析工具,使用下面命令启动jdk自带的分析工具,提供CPU和堆栈使用情况。

% hadoop jar hadoop-examples.jar v4.MaxtemperatureDriver –conf conf/Hadoop-cluster.xml –D mapreduce.task.profile=true input/ncdc/all max-temp

自己开发了一个股票智能分析软件,功能很强大,需要的点击下面的链接获取:

https://www.cnblogs.com/bclshuai/p/11380657.html

猜你喜欢

转载自www.cnblogs.com/bclshuai/p/12168766.html
6.6