1. spark(standalone模式)的安装
(1)下载spark安装包(spark官网)
(2)上传spark安装包到Linux服务器上
(3)解压spark安装包
tar -zxvf spark-2.3.3-bin-hadoop2.7.tgz -C /usr/apps/
(4)将conf目录下的spark-env.sh.template重命名为spark-env.sh,并修改内容如下
export JAVA_HOME=/usr/apps/jdk1.8.0_192 export SPARK_MASTER_HOST=feng01
在编辑内容的过程中,想查看某个路径命令(此处在编辑时想知道JAVA_HOM对应的路径):
: r! echo $JAVA_HOME // 在命令行模式按出“:”
(5)将conf目录下的slaves.template重命名为slaves并修改,指定Worker的所在节点
feng02
feng03
(6)分发(将配置好的spark拷贝到其他节点)
for i in {2..3}; do scp -r spark-2.3.3 node-$i.51doit.cn:$PWD; done // 第一种方式 scp -r spark-2.3.3-bin-hadoop2.7 feng02:$PWD // 以前一直用的方式
(7)启动(注意,此处就别配置环境变量了,否则当使用start-all.sh时,就会与hadoop中的该命令起冲突)
- 在spark的安装目录执行启动脚本
sbin/start-all.sh
- 执行jps命令查看Java进程
在feng01上用可看见Master进程,在其他节点上用可看见Worker
- 访问Master的web管理界面,端口8080
tar -zxvf spark-2.3.3-bin-hadoop2.7.tgz -C /bigdata/