CDH5.12.0 如何升级到Spark2.0 版本
标签（空格分隔）： 大数据平台构建
- 一： CDH5.12.0 的spark2.0 的概述：
- 二： 如何在CDH5.12.0 上面 升级spark2.0
- 三： 在cdh5.12.0CM上面进行配置 spark2.0 的parcel包的分发
一： CDH5.12.0 的spark2.0 的概述：
在CDH5.12.0集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本。经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。我尝试了安装spark2.0版本和spark2.1版本，均告成功。这里做一下安装spark2.1版本的步骤记录。
Cloudera发布Apache Spark 2概述(可以在这里面找到安装方法和parcel包的仓库)
从cloudera的官网可以下载相关的parcel 的离线安装包
：https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html
关于cdh5.12.0 安装 组件版本的一些介绍
Cloudera Manager及5.12.0版本的介绍：https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_parcels.html#cmug_topic_7_11_5__section
二： 如何在CDH5.12.0 上面 升级spark2.0
2.1 ： 安装之前的准备
所需软件：
http://archive.cloudera.com/spark2/csd/
Parcels 包的下载地址：
http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera1/
2.2: cdh5.12.0 配置spark2.0 步骤
2.2.1:cdh5.12.0 控制节点：
mkdir -p /opt/cloudera/csd/
上传文件：
SPARK2_ON_YARN-2.2.0.cloudera1.jar 到 /opt/cloudera/csd/下面：
chown -R cloudera-scm:cloudera-scm /opt/cloudera
上传文件：
SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el7.parcel
SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el7.parcel.sha1
到/opt/cloudera/parcel-repo/
执行命令：
chown -R cloudera-scm:cloudera-scm /opt/cloudera去掉 SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el7.parcel.sha1 后面的1
mv SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el7.parcel.sha1 SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el7.parcel.sha
重启 cdh5.12.0 上面的 server 端与所有的agent 端
cd /opt/cloudera-manager/cm-5.12.0/etc/init.d
./cloudera-scm-server restart
./cloudera-scm-agent restart (所有的agent节点)三：在cdh5.12.0CM上面进行配置 spark2.0 的parcel包的分发
打开CDH5.12.0 CM 界面
点击分配
点击激活
确定
一直分配到激活
点击添加服务：
找到spark2 添加spark2
选择一组依赖关系：
选择分配角色：
为主机添加角色：
部署 spark2 然后启动spark2 
