spark+mongo Scala开发环境搭建

依赖环境

    1. jdk 1.8

    2. scala 2.11

    3. spark 2.2.0


idea创建Scala项目

    idea配置Scala环境

    

    搜索Scala


    点击右侧安装按钮,等待安装完成,然后点OK(此处因为我已经安装过了,所以显示卸载按钮)。


    创建新项目



   如下图操作, 然后下一步。

    


    输入包名,项目名。下一步。



   完成。



  项目目录结构如下。编辑maven配置文件,配置spark依赖,mongo-spark依赖。


      好了,开发环境到此搭建完成。



Scala编写spark应用

    创建Scala文件。


    

     编写代码,从mongodb数据库中读取数据。


    说明:

          master: 集群管理器,spark://host:port, mesos://host:port, yarn, or local.

           appName:  应用名。

           spark.mongodb.input.uri: mongodb 输入地址。

           spark.mongodb.output.uri: mongodb 输出地址。


    打包项目。



    按下图操作:



   spark-submit是会自动包含依赖的包,因此只需要保留mongo-spark包和compile output,如下所示:



    打包



提交spark应用

     进入spark安装目录bin, 输入命令:

            sudo ./spark-submit --class com.qincai.Mongo --executor-memory 1G --total-executor-cores 2 /home/joey/opt/gamesAnaly.jar


      说明:

              executor-memory: 执行器内存大小。

              total-executor-cores: 执行器cup核心数。

              class:  spark应用主类。

              jar:  spark应用jar包。

    

      输出如下:



       

 本文到此结束。本人将继续研究mongo-spark数据分析、读写和spark定时任务。


猜你喜欢

转载自blog.csdn.net/chenguohong88/article/details/78044215
今日推荐