在idea中调试spark程序-配置windows上的 spark local模式

spark程序大致有如下运行模式:

      standalone模式:spark自带的模式

       spark on yarn:利用hadoop yarn来做集群的资源管理

      local模式:主要在测试的时候使用,       

  这三个模式先大致了解,目前我用到的就是local和yarn。其中,我们写spark程序,一般在idea上写,若每次都要将程序打包,再上传到集群,再运行,将严重影响我们效率,所以在调试代码的时候,一般用local模式,在windows的idea上直接操作。

  环境配置步骤如下:只做简要说明,各个步骤的具体安装可自行百度

       1、jdk安装,基础环境

             2、hadoop安装,spark要用到hadoop的windows的本地hdfs库,若不安装报如下错误:

      Failed to locate the winutils binary in the hadoop binary path

               hadoop具体安装步骤:(1)先拷贝hadoop的tar.gz安装包,也就是安装到linux上的那个安装包,解压即可.

                                                       (2)去github下载https://github.com/srccodes/hadoop-common-2.2.0-bin,这个里面就是winutils,编译包

                                         (3)将common包解压,将bin下的所有文件拷贝到hadoop安装目录下的bin里,重复的文件覆盖。

                                                     (4)配置HADOOP_HOME和CLASSPATH,其中classpath指定winutils的具体位置。

           3、idea安装scala插件

           开始你的windows本地调试之旅吧

猜你喜欢

转载自www.cnblogs.com/guoyu1/p/11669011.html