IDEA配置Maven-scala方式具体操作

   1、首先需要在IDEA中配置好scala的软件环境;

下载scala---windows版本,双击安装即可。要记好安装目录。

  1. 配置scala在IDEA中的语言环境File--Settings--Plugins---Browse repositories,直接搜索scacla,拉到下边找到LANGUAGES选项;如果没有安装过,右边框中会提示安装。直接安装即可。

 

  1. 此刻就可以书写scala程序了。按照如图所示进行选择即可

 

  1. 配置maven环境:下载地址http://maven.apache.org/download.cgi,下载完成后直接解压到想要的目录中。

 

 

  1. 配置maven的环境变量:只需要配置path即可,此时需要把maven的绝对路径放在这里边---需要注意要到bin目录位置。

使用cmd检查配置:mvn -v,如果能看到java的相关信息证明安装正确。

 

6.配置IDEA的maven环境:File---Settings---Build,Execution,Deployment---Build Tools---Maven

添加自己安装的maven。

在添加一个设置,如图所示:

  1. 新建Maven Scala项目

File--new Project

完成后,进入下一步:

下一步要选择自己下载maven文件的xml和自己创建一个目录,选择这个目录即可:

下一步直接完成:

所有都完成之后,如果是第一次创建此类工程,会下载很多东西。大致需要10分钟左右。看到如下信息证明配置完成:

现在还没有scala的环境,需要把scala添加进来:File--Project Structure--Global Libraries--+ 添加进来scala:

完成后可以在工程中看到scala的语言了:

此时还不能创建scala程序,需要进行目录的设置:选择工程目录右键---Mark Directory As---Recources Root。

之后可以进行scala程序在maven环境中开发:

程序和运行结果如下:

现在可以配置spark的环境了:File--Project Structure--Global Libraries--+ 添加进来spark

现在就可以在IDEA的Maven环境中开发spark程序了。写一段程序吧:

目录中右键,可以看到scala class确定,选择object:

首先使用本地运行示例:

package scala.T001



import org.apache.spark.{SparkConf, SparkContext}



object WordCount1 {

  def main(args: Array[String]): Unit = {

    val conf=new SparkConf().setAppName("wordcount").setMaster("local")

    val sc=new SparkContext(conf)

    val rdd=sc.textFile("C:\\Program Files\\Common Files\\VMware\\Drivers\\vmci\\sockets\\include\\vmci_sockets.h")

    val wordCount=rdd.flatMap(_.split(" ")).map(x=>(x,1)).reduceByKey(_+_)

    val wordSort=wordCount.map(x=>(x._2,x._1)).sortByKey(false).map(x=>(x._2,x._1))

    val result=wordSort.take(10)

    wordSort.saveAsTextFile("C:\\Program Files\\wortsort111")

  }

}

可以在本地找到一个产生的结果文件:

远程执行:

  好了,具体的流程操作完了,如需解决更多技术问题,可以扫描屏幕下方二维码:

猜你喜欢

转载自blog.csdn.net/weixin_44037478/article/details/85124349