spark安装实验

开头批注：spark 安装比较简单，所以各个教程的路径可能不一样，建议一个人的教程走到底，可以有效规避写程序时没有这个包的bug

资源参考：
scala安装：
https://blog.csdn.net/smile_from_2015/article/details/80114735
spark部分安装与验证：
https://blog.csdn.net/csj941227/article/details/78026423
https://www.cnblogs.com/suphowe/p/12171114.html

1. 默认配置：

• Ubuntu 18.04
• java-1.8.0_162
• hadoop 3.2.1，下载在/usr/local/hadoop中
• scala（即将下载）2.11.8
• spark（即将下载） version 3.0.0-preview2
• python 3.6.8

2.scala安装

1. 进入网站http://www.scala-lang.org/download/ ，下拉，在previous releases下选择想要版本，这里实验是2.11.8
2. 2.11.8点进去最下面，other resources 里面给unix的，点一下就行
3. 进入下载文件夹，在这里打开终端，解压

tar -zxvf scala-2.11.8.tgz 

4. 重命名文件夹

mv scala-2.11.8/ scala

5. 迁移文件夹

sudo mv scala/ /usr/lib/

6. 打开新终端，路径配置
   在.bashrc加入下面两行

export SCALA_HOME=/usr/lib/scala
export PATH=${SCALA_HOME}/bin:$PATH

并顺手出来后刷新配置

source ~/.bashrc

7. 输入版本查询命令 scala -version，出现下面一行即为成功安装scale

Scala code runner version 2.11.8 -- Copyright 2002-2016, LAMP/EPFL

3.spark安装

1. 进入资源站 http://spark.apache.org/downloads.html
   选择你要的版本，包括你的hadoop版本，一定要配套，2.7选2.7，我这里选3.0
2. 进文件夹终端，解压

tar -xvf spark-3.0.0-preview2-bin-hadoop3.2.tgz

3. 改名

mv spark-3.0.0-preview2-bin-hadoop3.2 spark

4. 迁移进usr/lib

sudo mv spark/ /usr/lib/

5. 新打开终端，vim .bashrc添加spark环境变量

export SPARK_HOME=/usr/lib/spark
export PATH=${SPARK_HOME}/bin:${SPARK_HOME}/sbin:$PATH

日常顺手出来后刷新配置

source ~/.bashrc

6. 证安装成功与否，随便进入一个新终端，输入
   pyspark
   出现一个“/”组成的spark并进入cmd python及说明安装成功
7. 另外，虽然说一般到此为止就算完整的教程了，我们可以进一步试验一下，算个pei看能不能跑–

cd /usr/lib/spark
start-dfs.sh
jps
cd ./bin
./run-example SparkPi 2

然后会在倒数几行看到一行
Pi is roughly 3.1416957084785424

9. 暂时到此为止吧，看下次实验任务是啥酌情补充