写好一个类然后 然后在IDEA里面点 右侧Maven Projects 中的 Lifecycle
中里面有package 双击 看到build success 就为构建成功 然后去包下面去找对应的target文件下面的两个jar包 大的jar包含该项目的所有依赖包
小的Jar 只是这个类的jar包
然后根据自己的实际情况将该jar上传到集群
然后 使用spark-submit 进行提交
创建一个脚本
Touch wordcount.sh
将这些参数 存入脚本中
注意 \ 后面不能加东西 否则 执行错误
/usr/local/soft/spark/bin/spark-submit \ spark-submit脚本的全路径
--class lesson01.WordCount \ 提交这个类的全路径信息
--class master spark://hadoop01:7077 \ 提交这个jar任务到哪个spark 集群上 主节点
--executor-memory 1G \ executor 内存大小指定
--total-executor-cores 1 \ 运行executor的核数 也就是并发数
/root/1709/1709spark-1.0-SNAPSHOT.jar 上传这个jar的全路径
然后
给该脚本赋可执行权限
chmod +x wordcount.sh
代码写好后通过SVN 提交到指定目录地址
然后去集群切到自己的svn分支
Svn swich://自己分支 然后执行 svn up 然后对其进行代码编译
Hive使用与编程资料