实验8-spark编程
实验：编写Spark应用程序（掌握Spark应用程序的编写、编译打包和运行方法）
1、对于两个输入文件A和B，编写Spark独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件C。下面是输入文件和输出文件的样例。
输入文件：
输出文件：
1.编写文本文件
- 编写Scala应用程序代码
- 用sbt打包Scala应用程序
Jar包
4.通过spark-submit运行程序
2、每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩；编写Spark独立应用程序求出所有学生的平均成绩，并输出到一个新文件中。下面是输入文件和输出文件的样例。
输入文件：
输出文件：
1.编写文本文件
- 编写Scala应用程序代码
- 用sbt打包Scala应用程序
Jar包
4.通过spark-submit运行程序
遇到的问题和心得体会：
1.用sbt打包Scala应用程序需要删除原来的sbt,否则是两个sbt打包，不会产生我们想要的jar包
- 写语句要注重格式x=>得换行并且下一个val后退了两格，否则会发生报错
