看过来,需要大量数据集的人儿们~Spark基准测试平台BigDataBench

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_27667379/article/details/89020981

做实验在收集大量数据集的时候发现了这个——BigDataBench

如果需要大量数据集and性能测试的人儿们,可以看过来,并且支持hadoop等其他框架

教程主要来自这位大神~https://blog.csdn.net/qq_25745863/article/details/88743750

记录一哈,除了上文提到的出现的问题,还报过这几个问题

1、文件夹权限问题

sudo chmod -R 777 /usr/local/你的bigdatabench文件夹

2、还有文件找不到

把genData_xx_sh里面的第6行改成完全路径就ok了

测试了一哈。生成了1G的wordcount

猜你喜欢

转载自blog.csdn.net/qq_27667379/article/details/89020981