standalone client模式提交菠菜平台搭建

local模式下,菠菜平台搭建(企 娥:217 1793 408)我们是不会将spark作业提交到生产机器上去跑的

local模式,其实仅仅用于idea中运行spark作业,以及打断点,调试spark作业来用

通常,用local模式执行,我们会手动生产一份数据,来使用

部署到测试机器上来进行测试运行spark作业的时候,都是使用client模式(standalone client模式,standalone cluster模式)

client模式下,提交作业后,driver在本机启动,可以实时看到详细的日志信息,方便追踪排除错误

standalone模式下提交spark作业(唯一与local区别就是将master设置成spark://master_ip:port)

三种模式

  1. 硬编码:SparkConf.setMaster("spark://IP:PORT")

2.spark-submit: --master spark://IP:PORT

3.spark-shell: --master spark://IP:PORT

猜你喜欢

转载自blog.51cto.com/13883672/2149062
今日推荐