一、说明
操作系统：CentOS 6.5
JDK版本：1.7.0_67
所需安装包及版本说明：
CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel
CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha
manifest.json
cloudera-manager-el6-cm5.4.3_x86_64.tar.gz
Cloudera Manager下载目录
http://www.cloudera.com/downloads/manager/5-4-3.html
CDH下载目录
http://archive.cloudera.com/cdh5/parcels/5.4.0/
CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中
CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1重命名为CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha，这点必须注意，否则，系统会重新下载CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel文件
二、系统环境搭建
1、网络配置(所有节点)
vi /etc/sysconfig/network 修改hostname：
vi /etc/hosts ,修改ip与主机名的对应关系
2、SSH免密码登录
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa --创建公钥
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys --公钥追加到认证文件
3、关闭防火墙
临时关闭：
service iptables stop
重启后生效：
chkconfig iptables off
4、关闭SELINUX
临时关闭：
setenforce 0
修改配置文件/etc/selinux/config（重启生效）：
将SELINUX=enforcing改为SELINUX=disabled
查看SELINUX状态：
1、/usr/sbin/sestatus –v
SELinux status: enabled（enabled：开启；disabled：关闭）
2、使用命令：getenforce
5、安装JDK
rpm -ivh jdk-7u67-linux-x64.rpm
配置环境变量，修改/etc/profile：
export JAVA_HOME=/usr/java/jdk1.7.0_67
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOMdE/lib/dt.jar:$JAVA_HOME/lib/tools.jar
生效：
source /etc/profile
查看版本： java -version
设置NTP
所有节点安装NTP：
yum install ntp
配置开机启动：
chkconfig ntpd on
检查是否设置成功：
chkconfig --list ntpd （2-5为on状态则成功）
设置同步：
ntpdate -u ntp.sjtu.edu.cn（时钟服务器根据实际环境设置、本文采用210.72.145.44-国家授时中心服务器IP地址）
7、安装配置MySql
yum install mysql-server
安装完成后
修改mysql权限：
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION;
flush privileges;
8、下载依赖包
yum install -y
- chkconfig
- python (2.6 required for CDH 5)
- bind-utils
- psmisc
- libxslt
- zlib
- sqlite
- cyrus-sasl-plain
- cyrus-sasl-gssapi
- fuse
- portmap
- fuse-libs
- redhat-lsb
三、Cloudera Manager Server&Agent安装
1、安装Cloudera Manager Server、Agent
mkdir /opt/cloudera-manager
tar xvzf cloudera-manager-el6-cm5.4.3_x86_64.tar.gz -C /opt/cloudera-manager/
解压完后进入目录
软件体的目录
修改配置文件 配置CM Agent
vi /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/ config.ini
修改配置文件的 配置文件的 server_host=本节点名称
2、创建用户cloudera-scm【资源 用户 和权限】每台节点都要创建
useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
详解：system 系统管理 no-create-home 没有家目录 --shell=/bin/false 禁止用户登陆 也就是进程用户
3、创建Parcel目录
Server节点
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
Agent节点
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
4、配置CM Server数据库
拷贝mysql jar文件到目录 /usr/share/java/
注意jar包名称要修改为mysql-connector-java.jar
制作CDH本地源
下载好文件CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel以及manifest.json，将这两个文件放到server节点的/opt/cloudera/parcel-repo下。
打开manifest.json文件，里面是json格式的配置，找到与下载版本相对应的hash码，新建文件，文件名与你的parel包名一致，并加上.sha后缀，将hash码复制到文件中保存。
mv /root/{CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel,CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha,manifest.json} ./
分发 /opt/cloudera-manager 目录里面的到其他节点
scp -r ./* node02:`pwd`
scp -r ./* node03:`pwd`
将驱动包拷贝到目录下（注意拷贝过去的驱动包名字一定要和下边的一样，否则会报错）：
cp mysql-connector-java-5.1.31/mysql-connector-java-5.1.31-bin.jar /usr/share/java/mysql-connector-java.jar
执行：
mysql> grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema
./scm_prepare_database.sh mysql -h myhost1.sf.cloudera.com -utemp -ptemp --scm-host myhost2.sf.cloudera.com scm scm scm
例如：
./scm_prepare_database.sh mysql -h node1 -utemp -ptemp --scm-host node1 scm scm scm
（对应于：数据库类型、数据库服务器、用户名、密码、CMServer所在节点…….）
mysql> drop user 'temp'@'%';
若上步失败或过程中操作中断，删除所有库、重头来过/(ㄒoㄒ)/~~
若安装Oozie等组件可能需要手动创建对应组件所需的数据库，例如：
create database ooziecm DEFAULT CHARACTER SET utf8;
grant all on ooziecm.* TO 'ooziecm'@'%' IDENTIFIED BY 'ooziecm';
配置最后一步骤：
启动CM Server、Agent【异步】
/opt/cloudera-manager/cm-5.4.3/etc/init.d
执行命令
./cloudera-scm-server start
Sever首次启动会自动创建表以及数据，不要立即关闭或重启，否则需要删除所有表及数据重新安装
./cloudera-scm-agent start
启动完成后
登陆的用户与密码都是admin
四、CDH5安装
免费版本的CM5已经去除50个节点数量的限制。
各个Agent节点正常启动后，可以在当前管理的主机列表中看到对应的节点。
选择要安装的节点，点继续。
也可以使用搜索功能 给定主机名前提是要有规律
接下来，出现以下包名，说明本地Parcel包配置无误，直接点继续就可以了。
点击，继续，如果配置本地Parcel包无误，那么下图中的已下载，应该是瞬间就完成了，然后就是耐心等待分配过程就行了，大约10多分钟吧，取决于内网网速。
接下来是服务器检查，可能会遇到以下问题：
Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响：
通过 echo 0 > /proc/sys/vm/swappiness 即可解决。
接下来是选择安装服务：
测试采用了Hadoop默认，实际按工作环境来定咯~~
服务配置，一般情况下保持默认就可以了（Cloudera Manager会根据机器的配置自动进行配置，如果需要特殊调整，自行进行设置就可以了）：
角色分发的一个指向 规划角色再哪个节点启动
对某一个角色具体的配置
集群里面添加服务
Hive需要关系型数据库
创建数据库 用户 权限赋值
用户名hive 密码也是hive
建库脚本 hive
create database hive DEFAULT CHARACTER SET utf8;
grant all on hive.* TO 'hive'@'%' IDENTIFIED BY 'hive';
安装完成后，就可以进入集群界面看一下集群的当前状况了。
这里可能会出现无法发出查询：对 Service Monitor 的请求超时的错误提示，如果各个组件安装没有问题，一般是因为服务器比较卡导致的，过一会刷新一下页面就好了：
五、脚本
1、MySql建库&&删库
##amon
create database amon DEFAULT CHARACTER SET utf8;
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'amon';
##hive
create database hive DEFAULT CHARACTER SET utf8;
grant all on hive.* TO 'hive'@'%' IDENTIFIED BY 'hive';
##oozie
create database oozie DEFAULT CHARACTER SET utf8;
grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';