local模式下,菠菜平台搭建(企 娥:217 1793 408)我们是不会将spark作业提交到生产机器上去跑的
local模式,其实仅仅用于idea中运行spark作业,以及打断点,调试spark作业来用
通常,用local模式执行,我们会手动生产一份数据,来使用
部署到测试机器上来进行测试运行spark作业的时候,都是使用client模式(standalone client模式,standalone cluster模式)
client模式下,提交作业后,driver在本机启动,可以实时看到详细的日志信息,方便追踪排除错误
standalone模式下提交spark作业(唯一与local区别就是将master设置成spark://master_ip:port)
三种模式
- 硬编码:SparkConf.setMaster("spark://IP:PORT")
2.spark-submit: --master spark://IP:PORT
3.spark-shell: --master spark://IP:PORT