idea打jar包与spark-submit提交集群

版权声明：& https://blog.csdn.net/qq_16760101/article/details/84316520

一、idea打jar包

1. project Structure中选择Aritifacts
2. 选择+号新建一个要打的jar包
3. 删除除了 compile output之外的集群中已经存在的jar包，除非引入了集群中不存在的jar包
4. 选择设置主类，再build->build Aritifacts即可

二、spark-submin提交集群命令

1. 使用yarn管理集群资源：

spark-submit --master yarn --class com.spark.wordcount /home/hdfs/project1.jar