Spark伪分布式环境搭建

Spark伪分布式环境搭建

前期准备

1、 配置好hadoop环境

1)安装好jdk
2)安装好ssh

2、 安装scala

1)下载scala
    rpm -ivh scala-2.10.1.rpm（兼容JDK1.7）
2)测试scala
    scala
    出现下面表示安装成功
    Welcome to Scala version 2.10.1 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_75).
    Type in expressions to have them evaluated.
    Type :help for more information.

    scala> 
    **如果出现下面的表示JDK版本不兼容
    Exception in thread “main" java.lang.UnsupportedClassVersionError

3、 下载spark-2.1.0-bin-hadoop2.6.tgz.gz(兼容JDK1.7，2.3.0必须要JDK1.8)

tar -zxvf spark-2.1.0-bin-hadoop2.6.tgz.gz 
mv spark-2.1.0-bin-hadoop2.6 spark

4、修改配置

1)配置环境变量
    vi ~/.bash_profile
    export SPARK_HOME=/hadoop/spark/spark
    export PATH=$PATH:$SPARK_HOME/bin 
2)更改配置文件
    cp slaves.template slaves
    vi slaves
    localhost-->192...
    cp spark-env.sh.template spark-env.sh
    vi spark-env.sh
    ####添加以下内容
    export JAVA_HOME=/usr/java/jdk1.7.0_75
    export SCALA_HOME=/usr/bin/scala
    export SPARK_WORKER_MEMORY=1G
    export HADOOP_HOME=/hadoop/hadoop
    export HADOOP_CONF_DIR=/hadoop/hadoop/etc/hadoop
    export SPARK_MASTER_IP=192.168.162.*

5、启动测试

1)启动hadoop
2)启动spark
    ./start-all.sh
    jps
    2609 SecondaryNameNode
    9436 Worker
    9216 SparkSubmit
    2858 NodeManager
    2426 DataNode
    2332 NameNode
    *出现了Worker和SparkSubmit表示spark启动成功