Spark2.2.0集群搭建部署之【基础配置篇】

软件准备信息，详见Spark2.2.0集群搭建部署之【软件准备篇】

Spark集群在生产环境中，主要部署在linux的集群中，所以需要先安装JDK，SCALA等基础配置。

由于Spark是计算框架，所以需要预先在集群内有搭建好存储数据的持久化层，如HDFS，最后可以通过启动脚本运行应用。

在VMware Workstation 虚拟机中新建两台机器，分别起名master，slave1。在两台机器中分别安装JDK，SCALA。

一、安装JDK

JDK的安装可以下载安装包进行安装，这里我以系统自带的openjdk安装为例。

yum -y list java*  

查看JDK软件包列表

yum  install  java-1.8.0-openjdk   java-1.8.0-openjdk-devel 

安装java-1.8.0-openjdk

等待运行结束，可通过java -version查看JDK版本信息

值得一提的是，通过yum安装的jdk，默认的安装目录为 /usr/lib/jvm， 可cd到该目录下，查看JDK的版本详细信息，其中

java-1.8.0-openjdk-1.8.0.121-0.b13.el7_3.x86_64即为安装的JDK。

然后配置环境变量信息

vi /etc/profile  

在文件的末尾加上

JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
PATH=$PATH:$JAVA_HOME/bin  
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  
export JAVA_HOME  CLASSPATH  PATH  

保存文件后，刷新使配置生效

source  /etc/profile  

二、安装SCALA

将下载的scala-2.11.11.tar.gz，放置在集群制定目录下，这里我放置在 /root/xdb 目录下

解压文件

tar -zxvf scala-2.11.11.tar.gz

配置环境变量,命令同上,在文件末尾添加SCALA的配置信息

export SCALA_HOME=/root/xdb/scala-2.11.11/
export PATH=$PATH:$SCALA_HOME/bin

刷新配置,通过scala -version查看是否生效。