cdh5.14安装

1. 服务器基础环境
   • ip配置已完成（172.16.19.175-180)
   • 主机名配置完成（HDP01-HDP06）
   • selinux已关闭
   • 已安装jdk-8u161
   • 配置了时间同步服务
2. 安装过程中调整的配置
   • 将主机名改为小写（hdp01-hdp06）
   • 重新安装jdk，并将JAVA_HOME由原来目录/root/software/jdk1.8.0_161改为/usr/java/jdk1.8.0_161避免安装和运行过程中权限不足无法访问问题
   • 关闭防火墙
   • 修改/etc/security/limits.conf增大系统中各用户的可用进程数（nproc)和文件句柄数(nofile)
   • 关闭swap分区（执行swapoff -a)
3. 部署规划和软件准备
   • 选择hdp01作为cloudera manager的server，hdp01-hdp06作为agent，元数据服务数据库选择mysql，部署在hdp03上
   • 在mysql中建立scm用户，并设置登录和访问权限
   • 配置hdp01到各节点的免密码登录
4. 安装CDH集群
   • 将配置好的安装包clouder-manager-el6-5.14.1_x86_64.tar放到各节点的/opt目录下，并解压
   • 将parcels(CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel,CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha,manifest.json)文件放到hdp01的/opt/clouera/parcel-repo下
   • 在各节点上建立cloudera-scm用户，useradd --system --home=/opt/cm-5.14.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
   • 在hdp01上执行，/opt/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh mysql -hhdp03 --scm-host hdp01 cmf scm cloudera
   • 在mysql中建立database hive、oozie和hue
   • 将mysql的jdbc-connector拷贝到各节点的/usr/share/java/mysql-connector-java.jar
   • 在各节点安装mod_ssl(执行yum install -y mod_ssl)
   • 将各节点的/opt/cloudera目录和/opt/cm-5.14.1目录所属用户和用户组改为cloudera-scm
5. 启动Cloudera manager和client
   • 在hdp01执行/opt/cm-5.14.1/etc/init.d/cloudera-scm-server start,在全部节点执行/opt/cm-5.14.1/etc/init.d/cloudera-scm-agent start
   • 通过浏览器访问http://hdp01:7180，进行CDH集群的安装和部署，POC过程涉及的服务包括zookeeper,hdfs,yarn,hive,spark,oozie,hue,sqoop，其中oozie作为hue的依赖项部署，POC过程中不涉及其应用， sqoop需要在集群安装好后单独添加服务