spark submit 提交任务

1.提交spark python/java 任务
bin/spark-submit my_script.py          如果后面没有参数,则只会在本地运行
附带参数:

--master   其可以接收的参数:


spark-submit 的一般格式
bin/spark-submit [options] <app jar | python file> [app options]
[options] 是要传给spark-submit 的标记列表。你可以运行spark-submit --help 列出所有
可以接收的标记

<app jar | python File> 表示包含应用入口的JAR 包或Python 脚本。[app options] 是传给你的应用的选项。如果你的程序要处理传给main() 方法的参数,它只会得到[app options] 对应的标记,不会得到spark-submit 的标记。



猜你喜欢

转载自blog.csdn.net/weixin_42553458/article/details/80857760