Linux CentOS 6.8 安装Spark

一、安装JDK

1.首先下载对应CentOS版本的jdk,这里我下载的是jdk-8u131-linux-i586.tar.gz;

2.下载该jdk到本地,并上传到CentOS 6.8的临时目录opt;

3.在安装自己下载的jdk之前,要先看看CentOS 6.8系统是否有自带的jdk版本,如果存在最好是卸载掉;

4.新建一个jdk的安装目录,我这里是在/usr/local/下新建了java目录,命令如下:
mkdir /usr/local/java 
  再把 jdk-8u131-linux-i586.tar.gz压缩包从opt目录下复制到/usr/local/java目录下,命令如下:
cp jdk-8u131-linux-i586.tar.gz /usr/local/java


5.解压缩刚才下载的: jdk-8u131-linux-i586.tar.gz包,命令如下:
tar -zxvf jdk-8u131-linux-i586.tar.gz


6.解压完成之后,编辑profile文件
 cd /etc
 vi profile
  在profile文件的末尾加上
export JAVA_HOME=/usr/local/java/jdk1.8.0_131
export JRE_HOME=/usr/local/java/jdk1.8.0_131/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
  保存后退出

7.输入source /etc/profile 使profile文件生效

8.输入java -version查看java的版本,有以下信息说明安装成功



二、安装SCALA
方法类似安装JDK
1.下载scala,我这里下载的是scala-2.12.2.tgz,并上传到linux服务器

2.新建scala目录:/usr/local/scala

3.将scala-2.12.2.tgz复制到:/usr/local/scala,并解压缩

4.在/etc/profile文件中添加:
  SCALA_HOME=/usr/local/scala/scala-2.12.2
  PATH=$PATH:${SCALA_HOME}/bin

5.输入source /etc/profile 使profile文件生效

6.输入scala,查看scala是否生效


三、安装Spark
1.下载Spark,我这里下载的是spark-2.2.0-bin-hadoop2.7.tgz

2.新建spark目录:/usr/local/spark

3.将spark-2.2.0-bin-hadoop2.7.tgz复制到:/usr/local/spark,并解压缩

4.在/etc/profile文件中添加:
  SPARK_HOME=/usr/local/spark/spark-2.2.0-bin-hadoop2.7
  PATH=$PATH:${SPARK_HOME}/bin

5.输入source /etc/profile 使profile文件生效

6.修改spark配置
  进入spark-1.2.0-bin-hadoop2.4/conf
  复制模板文件:
  cp spark-env.sh.template spark-env.sh
  cp slaves.template slaves

7.编辑spark-env.sh,添加:
  export JAVA_HOME=/usr/local/java/jdk1.8.0_131
  export SCALA_HOME=SCALA_HOME=/usr/local/scala/scala-2.12.2
  export SPARK_MASTER_IP=172.20.0.204
  export SPARK_WORKER_MEMORY=1g
  export HADOOP_CONF_DIR=/usr/local/spark/spark-2.2.0-bin-hadoop2.7

8.输入source spark-env.sh,使spark-env.sh文件生效

9.试一下spark是否安装成功
  进入spark安装目录,输入:spark-shell

  试一下文件读取操作:

猜你喜欢

转载自margaret0071.iteye.com/blog/2384805