idea搭建 spark mavne scala开发环境 wordcount例子

一、下载JDK并安装安装

1.首先安装Java，必须1.7版本以上才支持Scala，http://www.oracle.com/下载对应版本

2. 设置系统环境变量：JAVA_HOME  C:\Program Files\Java\jdk1.8.0_65

   Path中添加   %JAVA_HOME%\bin;

  CLASSPATH添加 .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;

3. 打开cmd，输入java -version，配置成功则显示版本

二、下载scala并安装配置

1. 从 Scala 官网地址 http://www.scala-lang.org/downloads 下载 Scala 二进制包

2. 安装在D:\scala下，注意安装路径中不能有空格或者其他字符，最好都是英文，否则在cmd中输入scala时会提示scala不应该有scala/bin/scala.bat之类的错误

3.设置系统环境变量：SCALA_HOME  D:\scala

扫描二维码关注公众号，回复： 2566536 查看本文章

 Path中添加   %SCALA_HOME%\bin;

4. cmd中输入scala，配置成功则显示版本显示版本

三、配置maven pom.xml

<dependencies>
    <dependency>
        <groupId>org.scala-lang</groupId>
        <artifactId>scala-library</artifactId>
        <version>2.11.8</version>
    </dependency>

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>2.0.2</version>
    </dependency>
</dependencies>

四、编写wordcount例子

import org.apache.spark.{SparkConf, SparkContext}

object wordcount {

  def main(args: Array[String]): Unit = {
    //创建SparkConf()并且设置App的名称
    val conf = new SparkConf().setAppName("wordCount").setMaster("local");
    //创建SparkContext,该对象是提交spark app的入口
    val sc = new SparkContext(conf);
    //使用sc创建rdd,并且执行相应的transformation和action
//    sc.textFile("E:\\data\\input\\a.txt").flatMap(_.split(",")).map((_, 1)).reduceByKey(_ + _, 1).sortBy(_._2, false).saveAsTextFile("E:\\data\\output").fo;
    //控制台打印   .foreach(println(_))
    sc.textFile("E:\\data\\input\\a.txt").flatMap(_.split(",")).map((_, 1)).reduceByKey(_ + _, 1).foreach(println(_))
    //停止sc，结束该任务
    sc.stop();
  }

}