Hadoop【第六课】:Hadoop性能测试

1.TestDFSIO

进入Jar包所在目录下:

# cd /usr/local/src/hadoop/hadoop-2.7.7/share/hadoop/mapreduce/

# ls

在这里插入图片描述

(1)写

向HDFS中写入5个128MB的文件

# hadoop jar hadoop-mapreduce-client-jobclient-2.7.7.jar TestDFSIO -write -nrFiles 5 -fileSize 128MB

在这里插入图片描述

(2)读

从HDFS中读5个128MB的文件

# hadoop jar hadoop-mapreduce-client-jobclient-2.7.7.jar TestDFSIO -read -nrFiles 5 -fileSize 128MB

在这里插入图片描述

(3)查看

# cat TestDFSIO_results.log

在这里插入图片描述

(4)清除

# hadoop jar hadoop-mapreduce-client-jobclient-2.7.7.jar TestDFSIO -clean

在这里插入图片描述

2.mrbench

使用3个mapper和3个reducer运行一个小作业5次,生成输入行数为5,降序排列

# hadoop jar hadoop-mapreduce-client-jobclient-2.7.7-tests.jar mrbench -numRuns 5 -maps 3 -reduces 3 -inputLines 5 -inputType descending

【Job 1】
在这里插入图片描述
在这里插入图片描述
【Job 2】
在这里插入图片描述
在这里插入图片描述
【Job 3】
在这里插入图片描述
【Job 4】
在这里插入图片描述
【Job 5】
在这里插入图片描述
【运行结果】
在这里插入图片描述

3.nnbench

使用3个mapper和3个reducer来创建5个文件

# hadoop jar hadoop-mapreduce-client-jobclient-2.7.7-tests.jar nnbench -operation create_write -maps 3 -reduces 3 -numberOfFiles 5 -replicationFactorPerFile 3 -readFileAfterOpen true

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/qq_41315788/article/details/109273059