大数据开发|spark环境构建

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接： https://blog.csdn.net/xiaokaiabcde/article/details/102618484

提前说明一下，大数据的搭建环境都是在Linux系统下构建，可能针对一些没有Linux编程基础的同学来说会有一些吃力，请各位客官放心，小店伙计后期会专门有几期来讲解Linux编程基础。绝对保证零基础完成大数据环境的构建。今天大数据环境构建后会暂停其他组件（hue、flume、kafka、oozie等）的构建，后面的文章就是基于该环境讲解大数据的应用。

一

安装zookeeper

参考：大数据开发|Hadoop分布式集群环境构建（1）

二

安装spark

2.2

安装scala

spark的底层是基于scala语言编写，对于spark的计算程序也可以通过scala语言来编写。

并解压scala：

tar  -zxvf  scala-2.10.4.tar.gz

2.3

spark安装配置

下载spark安装包

并解压：tar  -zxvf  spark-1.5.0-cdh5.5.1.tar.gz

如果你对大数据开发感兴趣，想系统学习大数据的话，可以加入大数据技术学习交流扣扣群：数字522数字189数字307，欢迎添加，私信管理员，了解课程介绍，获取学习资源。

配置spark-env.sh

内容如下：

export SPARK_CLASSPATH=/home/hadoop/hadoop/etc/hadoop:/home/hadoop/hadoop/share/hadoop/common/lib/*:/home/hadoop/hadoop/share/hadoop/common/*:/home/hadoop/hadoop/share/hadoop/hdfs:/home/hadoop/hadoop/share/hadoop/hdfs/lib/*:/home/hadoop/hadoop/share/hadoop/hdfs/*:/home/hadoop/hadoop/share/hadoop/yarn/lib/*:/home/hadoop/hadoop/share/hadoop/yarn/*:/home/hadoop/hadoop/share/hadoop/tools/lib/*:/home/hadoop/hadoop/share/hadoop/mapreduce/lib/*:/home/hadoop/hadoop/share/hadoop/mapreduce/*:/contrib/capacity-scheduler/*.jar

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop3:2181,hadoop4:2181,hadoop5:2181 -Dspark.deploy.zookeeper.dir=/spark"

export SCALA_HOME=/home/hadoop/scala

export JAVA_HOME=/home/hadoop/jdk

export HADOOP_HOME=/home/hadoop/hadoop

配置slaves

2.4

启动集群

./start-all.sh

结果

因为采用的是HA模式

就需要在备用机子上启动master

至此spark HA集群就搭建成功了

三

测试

./spark-shell

例子：

统计文字的长度

代码：

val lines = sc.textFile("hdfs://mycluster/user/hive/warehouse/lijietest/hive_test.txt")

val lineLengths = lines.map(s => s.length)

val totalLength = lineLengths.reduce((a, b) => a + b)

运行结果：