1.首先下载对应CentOS版本的jdk,这里我下载的是jdk-8u131-linux-i586.tar.gz;
2.下载该jdk到本地,并上传到CentOS 6.8的临时目录opt;
3.在安装自己下载的jdk之前,要先看看CentOS 6.8系统是否有自带的jdk版本,如果存在最好是卸载掉;
4.新建一个jdk的安装目录,我这里是在/usr/local/下新建了java目录,命令如下:
mkdir /usr/local/java再把 jdk-8u131-linux-i586.tar.gz压缩包从opt目录下复制到/usr/local/java目录下,命令如下:
cp jdk-8u131-linux-i586.tar.gz /usr/local/java
5.解压缩刚才下载的: jdk-8u131-linux-i586.tar.gz包,命令如下:
tar -zxvf jdk-8u131-linux-i586.tar.gz
6.解压完成之后,编辑profile文件
cd /etc vi profile在profile文件的末尾加上
export JAVA_HOME=/usr/local/java/jdk1.8.0_131 export JRE_HOME=/usr/local/java/jdk1.8.0_131/jre export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH保存后退出
7.输入source /etc/profile 使profile文件生效
8.输入java -version查看java的版本,有以下信息说明安装成功
二、安装SCALA
方法类似安装JDK
1.下载scala,我这里下载的是scala-2.12.2.tgz,并上传到linux服务器
2.新建scala目录:/usr/local/scala
3.将scala-2.12.2.tgz复制到:/usr/local/scala,并解压缩
4.在/etc/profile文件中添加:
SCALA_HOME=/usr/local/scala/scala-2.12.2
PATH=$PATH:${SCALA_HOME}/bin
5.输入source /etc/profile 使profile文件生效
6.输入scala,查看scala是否生效
三、安装Spark
1.下载Spark,我这里下载的是spark-2.2.0-bin-hadoop2.7.tgz
2.新建spark目录:/usr/local/spark
3.将spark-2.2.0-bin-hadoop2.7.tgz复制到:/usr/local/spark,并解压缩
4.在/etc/profile文件中添加:
SPARK_HOME=/usr/local/spark/spark-2.2.0-bin-hadoop2.7
PATH=$PATH:${SPARK_HOME}/bin
5.输入source /etc/profile 使profile文件生效
6.修改spark配置
进入spark-1.2.0-bin-hadoop2.4/conf
复制模板文件:
cp spark-env.sh.template spark-env.sh
cp slaves.template slaves
7.编辑spark-env.sh,添加:
export JAVA_HOME=/usr/local/java/jdk1.8.0_131
export SCALA_HOME=SCALA_HOME=/usr/local/scala/scala-2.12.2
export SPARK_MASTER_IP=172.20.0.204
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/usr/local/spark/spark-2.2.0-bin-hadoop2.7
8.输入source spark-env.sh,使spark-env.sh文件生效
9.试一下spark是否安装成功
进入spark安装目录,输入:spark-shell
试一下文件读取操作: