大数据学习整理篇（九）idea创建可以使用scala和java在spark运行的示例

1.新建Java的maven工程

后续把groupid和artifactid和版本定义好就行

2.定义pom文件，添加具体jar包

     请查看上篇文章整理篇（八）https://blog.csdn.net/penker_zhao/article/details/108361732

    scala需要增加新的打包文件，加入到pom文件，具体如下：

    

<plugin>
          <groupId>org.scala-tools</groupId>
          <artifactId>maven-scala-plugin</artifactId>
          <executions>
            <execution>
              <goals>
                <goal>compile</goal>
                <goal>testCompile</goal>
              </goals>
            </execution>
          </executions>
        </plugin>

3.添加scala目录

在src/main下面添加scala目录，如下图所示：

4.标记scala目录为source root，并且添加scala的SDK库

右键选中scala目录，如下图所示，进行source root标记

在【File】-【Project Structure】标记SDK库，注意scala版本，我的pom文件是scala 2.11.*版本，所以，你的SDK也必须是scala 2.11.* SDK，如下图所示，添加Scala SDK 2.11.*版本：

扫描二维码关注公众号，回复： 12435772 查看本文章

5.最后能跟整理篇【七】java示例运行即可。请参考整理篇【七】

整理篇（七）Linux下使用Docker搭建Spark多节点，Phoenix单机版，然后使用Spark访问Phoenix(java示例成功版）

6.代码示例已经提交到gitee

https://gitee.com/astra_zhao/spark-zeppelin-learn

可以下载自己体验

FAQ:1.org.apache.hadoop.security.authentication.util.KerberosUtil.hasKerberosKeyTab(Ljavax/security/auth/Subject;) 报错

添加：

<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.8.4</version>
        </dependency>

参考：https://www.cnblogs.com/sweetchildomine/p/9690106.html