spark 1.6.1 源码编译过程

一、安装scala 2.10.4

解压配置环境变量即可

二、编译spark源码

源码下载地址：
http://archive.apache.org/dist/spark/spark-1.6.1/spark-1.6.1.tgz
解压

修改make-distribute.sh 文件，在这个位置加入以上内容：

在这里插入图片描述
把原来的版本删掉，然后加上：
VERSION=1.6.1
SCALA_VERSION=2.10.4
SPARK_HADOOP_VERSION=2.5.0-cdh5.3.6
SPARK_HIVE=1

修改pom.xml文件
在这里插入图片描述
改成2.10.4

上传东西到
spark源码根目录build文件夹下：
/home/hadoop/software/spark-1.6.1/build
1.解压后的scala
2.解压后的zinc
在这里插入图片描述
zinc下载地址：
http://downloads.typesafe.com/zinc/0.3.5.3/zinc-0.3.5.3.tgz

修改maven的settings.xml文件，在mirrors中加入阿里云的maven镜像

<mirror>
    <id>nexus-aliyun</id>
    <mirrorOf>*</mirrorOf>
    <name>Nexus aliyun</name>
    <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

开始编译：

./make-distribution.sh --tgz \
--name 2.5.0-cdh5.3.6 \
-Phadoop-2.4 \
-Dhadoop.version=2.5.0 \
-Pyarn \
-Phive -Phive-thriftserver

下面的是cdh5.11.1的编译命令：

./make-distribution.sh --tgz \
--name 2.6.0-cdh5.11.1 \
-Phadoop-2.6.0-cdh5.11.1 \
-Dhadoop.version=2.6.0-cdh5.11.1 \
-Pyarn \
-Phive-1.1.0

三、问题解决

整个编译过程报了一个错误：
在这里插入图片描述
说找不到这个包
于是去

maven仓库里面看了这个文件里面的地址信息：
https://repo.eclipse.org/content/repositories/paho-releases
从这个网站下载了所有它说的缺失的包的文件
主要是：
org.eclipse.paho.client.mqttv3-1.0.1和java-parent
这两个
下载好之后，放到maven仓库重新编译，问题解决！