idea打spark jar包并提交到spark集群运行

打包

打包文件:
File-->>ProjectStructure -->点击Artificats-->>点击绿色加号 --> 点击JAR-->>选择 From module with dependices 

 


点击Output Layout  看看是否没有第三方jar包,因为你使用spark集群环境,所以你不需要第三方jar包


 


重新build:
Build-->>Build Artifcat ..--->>build 或者rebuild


 


 


 

提交运行

./bin/spark-submit  --class "sparkStreaming.workCount" --master local[4]  /usr/local/spark_jar/wordCount.jar

--class 后边是你打包时候的主函数

最后是你放jar包的位置,这个位置可以是任意位置

猜你喜欢

转载自blog.csdn.net/mn_kw/article/details/80079081
今日推荐