spark之使用spark-submit部署应用

  spark-submit为各种集群管理器提供了统一的工具来提交作业。如果在调用spark-submit时除了脚本或jar包的名字之外没有别的参数,那么这个spark程序只会在本地运行。当我们希望将应用提交到spark集群的时候,就需要设置以下参数:

--master:表示要连接的集群管理器。
    spark://host:port:连接到指定端口的spark独立集群上。默认情况下spark独立主节点使用7077端口
    mesos://host:port:连接到指定端口的mesos集群上。默认5050端口
    yarn:连接到yarn集群。当在yarn上运行时,需要设置环境变量HADOOP_CONF_DIR指向Hadoop配置目录,以获取集群信息。
    local:运行本地模式,使用单核
    local[N]:运行本地模式,使用N个核心
    local[*]:运行本地模式,使用尽可能多的核心
--deploy-mode:选择本地启动驱动器程序,还是在集群中的一台工作节点机器上启动。在客户端模式下,spark-submit会将驱动器程序运行在spark-submit被调用的这台机器上,

猜你喜欢

转载自www.cnblogs.com/xiao02fang/p/13179603.html