Ambari部署

1、文档编写目的
Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。方便对集群的监控和管理。
内容概要
一基础环境安装
1创建inforpush账号
2配置hostname
3配置ssh
4配置ulimit
5配置umask
6安装JDK
7配置ntpd
8安装Scala
二、配置ambari
1配置SSH免密码登录
2配置本地库
3安装amabri
4安装amabri-agent
5安装部署HDP集群

1创建用户账号并加入响应的组
2配置hostname
1.在所有服务器上按照规划修改hostname
vi /etc/hostname
2.修改/etc/hosts
vi /etc/hosts
添加所有服务器的hostname
例如：
10.8.1.6 node1
10.8.1.7 node2
10.8.1.8 node3
10.8.1.9 node4
3配置ssh
1.在所有服务器上修改/etc/ssh/ssh_config，Port改为6801
echo “Port 6801” >> /etc/ssh/ssh_config

.4配置ulimit
1.在所有服务器上修改ulimit限制
echo “ulimit -n 65000” >> /etc/profile
echo “* soft nofile 65000” >> /etc/security/limits.conf
echo “* hard nofile 65000” >> /etc/security/limits.conf

5配置umask
1.在所有服务器上修改/etc/profile
vi /etc/profile
umask = 022
2.使/etc/profile生效
source /etc/profile

6安装JDK
1.在所有服务器上安装JDK1.8
2.将jdk-8u77-linux-x64.gz拷贝到待安装机器，然后解压
tar xvf jdk-8u77-linux-x64.gz
mv jdk1.8.0_77 /usr/local/
3.配置JAVA_HOME、PATH环境变量
vi /etc/profile
在配置最后添加以下内容并保存：
设置环境变量set JAVA_HOME
export JAVA_HOME=/usr/local/jdk1.8.0_77/
export PATH=.:$JAVA_HOME/bin:$PATH
4.生效配置
source /etc/profile
5.验证配置生效
java -version 显示详细的版本信息

7配置ntpd
1.在所有服务器上安装ntp
yum install ntp
注：这里我们选择将node1作为NTP服务器，其他服务器同步node1
2.配置NTP服务器的/etc/ntp.conf
vi /etc/ntp.conf
修改restrict参数，配置需要同步的服务器的网段。

3.配置其他服务器的/etc/ntp.conf
vi /etc/ntp.conf
修改server参数，配置NTP服务器的IP

4.配置完成之后重启ntp服务
systemctl restart ntpd
5.查看时间同步
ntpq –p

注：remote参数：用于同步的远程节点或服务器
8安装Scala
1.在所有需要部署Spark的服务器上安装scala-2.11.7
2.将scala-2.11.7.tgz拷贝到待安装机器，然后解压
tar xvf scala-2.11.7.tgz
mv scala-2.11.7 /usr/local/
3.配置SCALA_HOME、PATH环境变量
vi /etc/profile
在配置最后添加以下内容并保存：
设置 scala 环境变量set SCALA_HOME
export SCALA_HOME=/usr/local/scala-2.11.7/
export PATH=.:$SCALA_HOME/bin:$PATH
4.生效配置
source /etc/profile
5.验证配置生效
scala -version 查看scala 具体版本信息

HDP组件安装
1、配置ssh 免密
.2配置本地库
1.准备工作
下载AMBARI-2.1.2-377-centos7.tar、HDP-2.3.2.0-centos7-rpm.tar、HDP-UTILS-1.1.0.20-centos7.tar，将下载的安装包上传(可以使用winscp软件)到需要安装Ambari-server的服务器上（这里我们选择Inforpush1）。
也可以从以下地址远程下载：
Ambari：http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.1.2/AMBARI-2.1.2-377-centos7.tar.gz
HDP-2.3.2.0：http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.3.2.0/HDP-2.3.2.0-centos7-rpm.tar.gz
HDP-UTILS-1.1.0.20：http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos7/HDP-UTILS-1.1.0.20-centos7.tar.gz
注：安装Ambari-server的服务器必须能联公网。

1.准备工作
从SVN上下载AMBARI-2.1.2-377-centos7.tar、HDP-2.3.2.0-centos7-rpm.tar、HDP-UTILS-1.1.0.20-centos7.tar，将下载的安装包上传(可以使用winscp软件)到需要安装Ambari-server的服务器上（这里我们选择Inforpush1）。
也可以从以下地址远程下载：
Ambari：http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.1.2/AMBARI-2.1.2-377-centos7.tar.gz
HDP-2.3.2.0：http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.3.2.0/HDP-2.3.2.0-centos7-rpm.tar.gz
HDP-UTILS-1.1.0.20：http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos7/HDP-UTILS-1.1.0.20-centos7.tar.gz
注：安装Ambari-server的服务器必须能联公网。
3.记住ambari、hdp的浏览目录，测试在浏览器能否访问得到。
名称 BaseURL
Ambari http://node1/AMBARI-2.1.2
HDP http://node/HDP
HDP-UTILS http://node/HDP-UTILS-1.1.0.20
下图是HDP的目录

4.vi /etc/yum.repos.d/infopush.repo
输入以下内容，配置本地源：
[Updates-ambari-2.1.2]
name=ambari-2.1.2 – Updates
baseurl=http://Inforpush1/ambari/centos7/
gpgcheck=1
gpgkey=http://Inforpush1/ambari/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-2.3.2.0]
name=HDP Version - HDP-2.3.2.0
baseurl=http://Inforpush1/HDP/centos7/2.x/updates/2.3.2.0
gpgcheck=1
gpgkey=http://Inforpush1/HDP/centos7/2.x/updates/2.3.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.20]
name=HDP Utils Version - HDP-UTILS-1.1.0.20
baseurl=http://Inforpush1/HDP-UTILS-1.1.0.20/repos/centos7
gpgcheck=1
gpgkey=http://Inforpush1/HDP/centos7/2.x/updates/2.3.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
5.确认本地源是否生成
yum repolist

4.3.3安装amabri
1.开始安装amabri-server
yum install ambari-server
安装过程终端会输出以下信息，最后提示安装完成。

2.配置amabri-server
ambari-server setup -j /usr/local/jdk1.8.0_77/
-j java_home [optinal] -j后面带的参数是指定jdk的目录，如果不指定-j 参数的话，会默认安装oracle-JDK.
3.终端输出 Customize user account for ambari-server daemon ，输入n，以root用户身份运行amabri。选y可以不以root身份运行ambari，需要输入想要运行的用户名。
4.下一步提示Enter advanced database configuration，进行数据库选择，默认是n，使用PostgreSQL 数据库。我们选的是n,使用默认的数据库。
5.提示completed successfully，配置完成。
6.如果想修改配置，可以重新执行 ambari-server setup ，一步步往下走即可。

7.启动、停止amabri-server，查看amabri-server状态
启动：ambari-server start
状态：ambari-server status
停止：ambari-server stop

1.配置ambari-agent
vi /etc/ambari-agent/conf/ambari-agent.ini
修改hostname参数，配置为ambari-server服务器的IP。
2.启动ambari-agent
启动：ambari-agent start
状态：ambari-agent status
停止：ambari-agent stop

4.3.4安装部署HDP集群
1.浏览器访问 http://node1:8080，进入amabri登录页面，用户名：admin，密码： admin

选择 Launch Install Wizard:

第一步：Get starte，给集群起个名字
第二步：Select stack，选择 hdp2.3, 将除redhat7 以外的复选框去掉勾，并且将hdp以及hdp-utiles的baseurl 替换掉默认的值。

5.第三步：Install Optins，Target Hosts里输入需要安装HDP的服务器的hostname。因为提前安装了amabri-agent，所以我们选择“Perform manual registration on hosts and do not use SSH”

6.第四步：Confirm hosts，

如果提示有警告信息，可以点开查看并处理，也可以跳过不管（建议处理）。

7.第五步：Choose service，选择需要安装的HDP程序。这里我们需要安装的有ZooKeeper、Storm、Ambari Metrics、Kafka。

8.第六步：Assign masters，根据负载均衡的原则，将要安装的服务分配到各台机器。提示：各个组件的Master可都安在一台机器上,Kafka和ZooKeeper每台机器都要安装。

9.第七步：Assign slaves and clients，可根据需要在服务器上安装组件。建议所有设备都安装Supervisor和Client。

10.第八步：Custom services，看一下各项的参数配置。 Storm组件需要修改supervisor.slots.ports，
并增加需要的端口

11.第九步：Review，确认所有安装选项，如果觉得有问题，可以返回修改。