前言
Spark Structured Streaming+Kafka+Hbase Scala版例子,整体入口。
正文
我是要开发Spark程序,开发工具是IDEA;同时需要使用Maven构建项目,语言我准备用Scala;因为JAVA的SparkAPI实在是太难懂了。
下载IDEA,JDK,SCALA不写了,太简单
1.Mavan+Scala搭建,很多人用的是下图的方法,但是我发现不好,因为会引入很多我不想要的东西,因为我是从头搭建,所以我要做一个最纯净的BASE版。
我不喜欢的创建方式图片如下:
下边是我喜欢的创建方式:
1.正常创建一个最简单的Maven项目
这个时候是创建不了Scala文件的,如下图:
2.先安装SCALA插件,File->Settings->Plugins
搜索Scala安装并重启IDEA
3.在Maven工程里添加Scala项目
工程上点右键:Add Framework Support
选择刚添加的SCALA插件
之后就可以创建Scala类了
到这里就是最纯净的Maven+Scala语言的BASE项目创建完成。