1、安装前的准备:
集群规划:
172.29.41.236 cdhmaster centos6.4
172.29.41.237 cdhslave1 centos6.4
172.29.41.238 cdhslave2 centos6.4vim /etc/hosts 添加名字与ip的映射
vim /etc/sysconfig/network 更改hostname
关闭所有机器的防火墙
service iptables stop
//临时关闭
chkconfig iptables off
//永久关闭关闭所有机器的SELinux
setenforce 0
//临时关闭
vim /etc/selinux/config
设置SELINUX=disabled //永久关闭在cdhmaster上安装配置MySQL
安装MySQL yum install mysql-server 设置开机启动 chkconfig mysqld on 启动MySQL service service mysqld start 设置root用户密码 mysqladmin -u root password 'xxxx'
下载软件包:
Cloudera Manager5.7.1:http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.7.1_x86_64.tar.gzCHD5.7.1 parcel: http://archive.cloudera.com/cdh5/parcels/5.7/CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel
CHD5.7.1 sha: http://archive.cloudera.com/cdh5/parcels/5.7/CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1
Kafka1.2.0.1 parcel: http://archive.cloudera.com/kafka/parcels/2.0.1/KAFKA-2.0.1-1.2.0.1.p0.5-el6.parcel
Kafka1.2.0.1 sha: http://archive.cloudera.com/kafka/parcels/2.0.1/KAFKA-2.0.1-1.2.0.1.p0.5-el6.parcel.sha1
jdk-8u91-linux-x64.rpm
mysql-connector-java-5.1.38-bin.jar
2、配置三台机器之间的ssh免密登录
- 每台机器上都运行
ssh-keygen -t rsa
命令生成公钥
- cdhslave1与cdhslave2上运行ssh-copy-id root@cdhmaster
- 在cdhmaster上运行ssh-copy-id root@cdhslave1 与 ssh-copy-id root@cdhslave2
3、安装jdk
- 卸载原有的jdk:
rpm -qa |grep java
rpm -e –nodeps 包名
- rpm -ivh jdk-8u91-linux-x64.rpm
4、cloudera-manager安装
把cloudera-manager-el6-cm5.7.1_x86_64.tar上传到cdhmaster并拷贝到cdhslave[1-2]上
在每台机子上进行文件解压 tar xzvf cloudera-manager-el6-cm5.7.1_x86_64.tar.gz -C /opt/
在每台机子上都执行 vim /opt/cm-5.7.1/etc/cloudera-scm-agent/config.ini 更改server_host设置成cdhmaster的主机名
- 为所有机器新建cloudera-scm用户,注意把–home设置为对应的路径:
sudo useradd –system –home=/opt/cm-5.7.1/run/cloudera-scm-server/ –no-create-home –shell=/bin/false –comment “Cloudera SCM User” cloudera-scm
- 在每台机器上把mysql驱动的jar文件上传到/opt/cm-5.7.1/share/cmf/lib
- 初始化数据cloudera库
/opt/cm-5.7.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p数据库密码 –scm-host localhost scm scm scm
- 在cdhmaster上启动Cloudera Manager Server
- 在三台机器上都启动Cloudera Manager Agent
- 浏览器中输入cdhmaster:7180 进行web登录,用户名密码都是admin
- 进行文件拷贝:
把下载好的CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1 和 KAFKA-2.0.1-1.2.0.1.p0.5-el6.parcel.sha1重命名为CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha 和 KAFKA-2.0.1-1.2.0.1.p0.5-el6.parcel.sha把CDH和KAFKA的parcel和sha文件上传到cdhmaster 的 /opt/cloudera/parcel-repo/目录
- 选择cloudera manager的版本 ,这里选择免费版
- 为集群指定主机
- 选择cdh版本。这里选择我们下载好的parcel的版本 。如果没有出现我们的离线安装版本,可以重启Cloudera Manager Server
- 等待安装包安装和分配到集群中的所有主机
- 检查主机正确性
- 选择需要安装的服务,这里可以根据自己的需求进行安装
进行角色分配。可以按照默认的设置
进行数据库配置。首先在mysql中建立hive\ozzie的数据库 然后填入表格 ,随后测试数据库连通性
- 进行集群相关设置
- 首次启动
- 完成安装