CDH5.1.2 数仓搭建基本环境准备

环境准备

机器	节点
192.168.17.150	hadoop102
192.168.17.151	hadoop103
192.168.17.152	hadoop104

修改网卡信息
vi /etc/sysconfig/network-scripts/ifcfg-eth0

修改网卡设备文件
vi  /etc/udev/rules.d/70-persistent-net.rules

修改主机名
vi /etc/sysconfig/network

配置hosts   vi /etc/hosts
192.168.17.150  hadoop102
192.168.17.151  hadoop103
192.168.17.152  hadoop104

关闭防火墙 Chkconfig service off
重启机器 reboot

SSH免密登录

 1）生成公钥和私钥：
     ssh-keygen -t rsa 
     然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
 2）将公钥拷贝到要免密登录的目标机器上
	 ssh-copy-id  hadoop102 
	 ssh-copy-id  hadoop103 
	 ssh-copy-id  hadoop104
 3）重复1和2的操作，配置hadoop103对hadoop102、hadoop103、hadoop104三台服务器免密登录。

集群同步脚本

1）在/root目录下创建bin目录，并在bin目录下创建文件xsync，文件内容如下：
[root@hadoop102 ~]$ mkdir bin
[root@hadoop102 ~]$ cd bin/
[root@hadoop102 bin]$ vi xsync
在该文件中编写如下代码
#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=103; host<105; host++)); do
        echo ------------------- hadoop$host --------------
        rsync -av $pdir/$fname $user@hadoop$host:$pdir
done
2）修改脚本 xsync 具有执行权限
[root@hadoop102 bin]$ chmod 777 xsync

安装JDK（三台）

1）在hadoop102的/opt目录下创建module和software文件夹
[root@hadoop102 opt]# mkdir module
[root@hadoop102 opt]# mkdir software
2）用SecureCRT将jdk-8u144-linux-x64.tar.gz导入到hadoop102的/opt/software目录
3）在Linux系统下的opt目录中查看软件包是否导入成功
[root@hadoop102 software]$ ls
jdk-8u144-linux-x64.tar.gz
4）解压JDK到/opt/module目录下，并修改文件的所有者和所有者组为root
[root@hadoop102 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
[root@hadoop102 module]# chown root:root jdk1.8.0_144/ -R
5）配置JDK环境变量
	（1）打开/etc/profile文件
[root@hadoop102 software]$ vi /etc/profile
在profile文件末尾添加JDK路径
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
	（2）让修改后的文件生效
[root@hadoop102 jdk1.8.0_144]$ source /etc/profile
6）测试JDK是否安装成功
[root@hadoop102 jdk1.8.0_144]# java -version
java version "1.8.0_144"
7）将hadoop102中的JDK和环境变量分发到hadoop103、hadoop104两台主机
[root@hadoop102 opt]# xsync /opt/module/
[root@hadoop102 opt]# xsync /etc/profile

分别在hadoop103、hadoop104上source一下
[root@hadoop103 ~]$ source /etc/profile
[root@hadoop104 ~]# source /etc/profile

集群整体操作脚本

在/root/bin目录下创建脚本xcall.sh

[root@hadoop102 bin]$ vim xcall.sh

2）在脚本中编写如下内容

#! /bin/bash

for i in hadoop102 hadoop103 hadoop104
do
        echo --------- $i ----------
        ssh $i "$*"
done

3）修改脚本执行权限

[root@hadoop102 bin]$ chmod 777 xcall.sh

4）将/etc/profile文件追加到~/.bashrc后面

[root@hadoop102 module]# cat /etc/profile >> ~/.bashrc
[root@hadoop103 module]# cat /etc/profile >> ~/.bashrc
[root@hadoop104 module]# cat /etc/profile >> ~/.bashrc

5）测试

[root@hadoop102 bin]# xcall.sh jps

安装MySQL

注意：一定要用root用户操作如下步骤；先卸载MySQL再安装

安装包准备
	（1）查看MySQL是否安装
	[root@hadoop102 桌面]# rpm -qa|grep mysql
	mysql-libs-5.1.73-7.el6.x86_64
	（2）如果安装了MySQL，就先卸载
	rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64
	（3）上传mysql-libs.zip到hadoop102的/opt/software目录，并解压文件到当前目录
	[root@hadoop102 software]# unzip mysql-libs.zip
	[root@hadoop102 software]# ls
	mysql-libs.zip
	mysql-libs
	（4）进入到mysql-libs文件夹下
	[root@hadoop102 mysql-libs]# ll
	总用量 76048
	-rw-r--r--. 1 root root 18509960 3月  26 2015 MySQL-client-5.6.24-1.el6.x86_64.rpm
	-rw-r--r--. 1 root root  3575135 12月  1 2013 mysql-connector-java-5.1.27.tar.gz
	-rw-r--r--. 1 root root 55782196 3月  26 2015 MySQL-server-5.6.24-1.el6.x86_64.rpm

安装MySQL服务器

（1）安装MySQL服务端
[root@hadoop102 mysql-libs]# rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm
（2）查看产生的随机密码
[root@hadoop102 mysql-libs]# cat /root/.mysql_secret
OtKOqTejwiIy3Zb7
（3）查看MySQL状态
[root@hadoop102 mysql-libs]# service mysql status
（4）启动MySQL
[root@hadoop102 mysql-libs]# service mysql start

3）安装MySQL客户端

（1）安装MySQL客户端
[root@hadoop102 mysql-libs]# rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm
（2）链接MySQL（密码替换成产生的随机密码）
[root@hadoop102 mysql-libs]# mysql -uroot -pOtKOqTejwiIy3Zb7
（3）修改密码
mysql>SET PASSWORD=PASSWORD('000000');
（4）退出MySQL
mysql>exit

MySQL中user表中主机配置

配置只要是root用户+密码，在任何主机上都能登录MySQL数据库。
（1）进入MySQL
[root@hadoop102 mysql-libs]# mysql -uroot -p000000
（2）显示数据库
mysql>show databases;
（3）使用MySQL数据库
mysql>use mysql;
（4）展示MySQL数据库中的所有表
mysql>show tables;
（5）展示user表的结构
mysql>desc user;
（6）查询user表
mysql>select User, Host, Password from user;
（7）修改user表，把Host表内容修改为%
mysql>update user set host='%' where host='localhost';
（8）删除root用户的其他host
mysql>
delete from user where Host='hadoop102';
delete from user where Host='127.0.0.1';
delete from user where Host='::1';
（9）刷新
mysql>flush privileges;
（10）退出
mysql>quit;