Haproxy+Nginx搭建Web群集
一、Haproxy 概述
Haproxy 是目前比较流行的一种群集调度工具,同类群集调度器工具有很多,如 LVS 和 Nginx。相比较而言,LVS 性能最好,但是搭建相对复杂;Nginx 的 upstream 模块支持群集功能,但是对群集节点健康检查功能不强,性能没有 Haproxy 好。Haproxy 官方网站是:http://www.haproxy.org/
1.负载均衡常用调度算法
LVS、Haproxy、Nginx 最常用的调度器算法有三种,如下:
1)RR(Round Robin)
RR 算法是最简单最常用的一种算法,即轮询调度。例如:有三个节点 A、B、C,第一个用户访问会被指派到节点 A,第二个用户访问会被指派到节点 B,第三个用户访问会被指派到节点 C,第四个用户访问继续指派到节点 A,轮询分配访问请求 实现负载均衡效果。此算法还有一种加权轮询,即根据每个节点的权重轮询分配访问请求。
2)LC(Least Connections)
LC 算法即最小连接数算法,根据后端的节点连接数大小动态分配前端请求。例如:有三个节点 A、B、C,各节点的连接数为 A : 4、B : 5、C : 6,此时如果有第一个用户连接请求,会被指派到 A 上,连接数变为 A : 5、B : 5、C : 6;第二个用户请求会继续分配到 A 上,连接数变为 A : 6、B : 5、C : 6;再有新的连接请求会分配给 B,每次将新的请求派给连接数最小的客户端。由于实际情况下A、B、C的连接数会动态释放,很难会出现一样连接数的情况,因此 此算法相比较 RR 算法有很大改进,是目前用到比较多的一种算法。
3)SH(Source Hashing)
SH 即基于来源访问调度算法,此算法用于一些 Session 会话记录在服务器端的场景,可以基于来源的 IP、Cookie 等做群集调度。例如:使用基于源 IP 的群集调度算法,有三个节点 A、B、C,第一个用户第一次访问被指派到了 A,第二个用户被指派到了 B,当第一个用户第二次访问时会被继续指派到 A,第二个用户第二次访问时依旧会被指派到 B,只要负载均衡调度器不重启,第一个用户访问都会被指派到 A,第二个用户访问都会被指派到 B,实现群集的调度。此调度算法好处是实现会话保持,但某些 IP 访问量非常大时会引起负载不均衡,部分节点访问量超大,影响业务使用。
2.常见的 Web 群集调度器
目前常见的 Web 群集调度器分为软件和硬件,软件通常使用开源的 LVS、Haproxy、Nginx,硬件一般使用比较多的是 F5,也有很多人使用国内的一些产品,如梭子鱼、绿盟等。
准备工作:
主机 | 操作系统 | IP地址 | 主要软件 |
---|---|---|---|
Haproxy | Centos7 | 192.168.1.10 | haproxy-1.5.19.tar.gz |
Nginx-1 | Centos7 | 192.168.1.2 | nginx-1.12.2.tar.gz |
Nginx-2 | Centos7 | 192.168.1.3 | nginx-1.12.2.tar.gz |
客户机 | 没硬项要求 | 同网段即可 | 浏览器(别用win10自带浏览器) |
实验需要的软件包从下面链接下载:
https://pan.baidu.com/s/1aKGIfdX7pJ_mFAwcwVhjPQ
提取码:h4b5
二、编译安装 Nginx 服务器
两台Nginx安装一致
[root@Nginx-1 ~]# mount /dev/cdrom /media/cdrom #挂光盘
[root@Nginx-1 ~]# yum -y install pcre-devel zlib-devel #安装依赖包
[root@Nginx-1 ~]# rz #上传软件包
[root@Nginx-1 ~]# tar zxf nginx-1.12.0.tar.gz -C /usr/src/ #解压
[root@Nginx-1 ~]# useradd -M -s /sbin/nologin nginx #创建nginx用户
[root@Nginx-1 ~]# cd /usr/src/nginx-1.12.0/
[root@Nginx-1 nginx-1.12.0]# ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx && make && make install
Nginx1建立测试页面:
[root@Nginx-1 ~]# echo "<h1>this is web111</h1>" > /usr/local/nginx/html/index.html
Nginx2建立测试页面:
[root@Nginx-2 ~]# echo "<h1>this is web222</h1>" > /usr/local/nginx/html/index.html
将两个Nginx都启用:
[root@Nginx-1 ~]# /usr/local/nginx/sbin/nginx
检测端口号:
[root@Nginx-1 ~]# netstat -anpt | grep nginx
二、Haproxy 代理服务器
1.编译安装 Haproxy
[root@Haproxy ~]# mount /dev/cdrom /media/cdrom #挂光盘
[root@Haproxy ~]# yum -y install pcre-devel bzip2-devel #安装依赖包
[root@Haproxy ~]# rz #上传软件包
[root@Haproxy ~]# tar zxf haproxy-1.5.19.tar.gz -C /usr/src/ #解压到/usr/src/目录
[root@Haproxy ~]# cd /usr/src/haproxy-1.5.19/
[root@Haproxy haproxy-1.5.19]# make TARGET=linux26 #64位系统
[root@Haproxy haproxy-1.5.19]# make install #安装
2.配置 Haproxy
[root@Haproxy haproxy-1.5.19]# mkdir /etc/haproxy #创建配置文件目录
[root@Haproxy haproxy-1.5.19]# cp examples/haproxy.cfg /etc/haproxy/ #将配置文件复制到刚才目录中
[root@Haproxy haproxy-1.5.19]# cd
[root@Haproxy ~]# vim /etc/haproxy/haproxy.cfg
# this config needs haproxy-1.1.28 or haproxy-1.2.1
global
log 127.0.0.1 local0 #配置日志记录,local0为日志设备,默认存放到系统日志
log 127.0.0.1 local0 notice #notice为日志级别,通常为24个级别
#log loghost local0 info
maxconn 4096 #最大连接数
uid 99 #用户ID
gid 99 #组ID
daemon
#debug
#quiet
defaults
log global
mode http #模式为http
option httplog #采用http日志格式记录日志
option dontlognull
retries 3 #检测节点服务器失败次数,连续达到三次失败,则认为节点不可用
redispatch #当服务器负载很高时,自动结束当前队列处理比较久的连接
maxconn 2000 #最大连接数
contimeout 5000 #连接超时时间
clitimeout 50000 #客户端超时时间
srvtimeout 50000 #服务器超时时间
listen webcluster 0.0.0.0:80 #定义一个web~应用
option httpchk GET /index.html #检测服务器的index.html文件
balance roundrobin #负载调度器算法使用轮询算法
server inst1 192.168.1.2:80 check inter 2000 fall 3 #指定群集服务池中服务器IP
server inst2 192.168.1.3:80 check inter 2000 fall 3 #这两个是Nginx的IP
3.创建自启动脚本
[root@Haproxy ~]# cp /usr/src/haproxy-1.5.19/examples/haproxy.init /etc/init.d/haproxy
[root@Haproxy ~]# chmod +x /etc/init.d/haproxy #添加可执行权限
[root@Haproxy ~]# ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy #软链接,优化执行路径
[root@Haproxy ~]# /etc/init.d/haproxy restart #重启haproxy
4.测试 Web 群集
1)测试负载均衡
客户机打开浏览器访问:http://192.168.1.10
再次访问:
负载均衡测试成功
2)测试高可用
在任意一台 Nginx 服务器上关闭网站服务
[root@Nginx-1 ~]# killall -s QUIT nginx
[root@Nginx-1 ~]# netstat -anpt | grep 80
在客户机上使用浏览器访问测试
刷新发现还是这个页面,并不会切换,原因是刚才关闭了一台 Nginx 服务器
高可用测试成功
当测试成功后再打开Nginx即可
[root@Nginx-1 ~]# /usr/local/nginx/sbin/nginx
5.Haproxy 日志管理
Haproxy 的日志默认是输出到系统的 syslog 中,查看起来不是很方便,为了方便管理 haproxy 的日志,在生产环境中单独定义
修改haproxy配置文件中关于日志配置的选项,将原有的日志配置更改为以下配置
[root@Haproxy ~]# vim /etc/haproxy/haproxy.cfg
global
log /dev/log local0 info
log /dev/log local1 notice
[root@Haproxy ~]# /etc/init.d/haproxy restart #重启Haproxy
1)修改 rsyslog 配置
[root@Haproxy ~]# vim /etc/rsyslog.d/haproxy.conf
添加:
if ($programname == 'haproxy' and $syslogseverity-text == 'info') then -/var/log/haproxy/haproxy-info.log
& ~
if ($programname == 'haproxy' and $syslogseverity-text == 'notice') then -/var/log/haproxy/haproxy-notice.log
& ~
[root@Haproxy ~]# systemctl restart rsyslog #重启rsyslog服务
如果报错如下,那就说明是刚刚配置文件错误
2)查看日志信息
在客户机使用浏览器访问http://192.168.1.10
6.Haproxy参数优化
参数 | 参数说明 | 优化建议 |
---|---|---|
maxconn | 最大的连接数 | 推荐使用10240 |
daemon | 守护进程模式 | 可以使用非守护默认 |
nbproc | 负载均衡的并发进程数 | 建议与当前服务器cpu核相等或2倍 |
retries | 重试次数 | 节点多并发量大,设置为2到3次 |
option http-server-close | 主动关闭http请求选项 | 生产环境中使用此选项,避免由于timeout时间设置过长导致http连接堆积 |
timeout http-keep-alive | 长连接超时时间 | 此选项设置长连接超时时间,具体参考应用自身特点 设置,可以设置为 10s |
timeout http-request | http请求超时时间 | 建议将此时间设置为 5~10s,增加 http 连接释放速度 |
timeout client | 客户端超时时间 | 如果访问量过大,节点响应慢,可以将此时间设置短一些,建议设置为 1min 左右就可以了 |
三、部署 Keepalived 服务器实现双机热备
在上述实验环境上,增加一台haproxy代理服务器,使用keepalived技术实现双机热备。
主机名 | 操作系统 | IP地址 | 群集IP |
---|---|---|---|
localhost | Centos7 | 192.168.1.110 | 192.168.1.188 |
1.增加一台 Haproxy 代理服务器
1)安装 Haproxy
挂光盘,并配置yum源
[root@localhost ~]# yum -y install pcre-devel bzip2-devel #安装依赖包
[root@localhost ~]# rz 上传haproxy软件
[root@localhost ~]# tar zxf haproxy-1.5.19.tar.gz -C /usr/src/
[root@localhost ~]# cd /usr/src/haproxy-1.5.19/
[root@localhost haproxy-1.5.19]# make TARGET=linux26 && make install
[root@localhost haproxy-1.5.19]# mkdir /etc/haproxy
2)使用scp 将192.168.1.10上的 Haproxy 主配置文件远程复制过来
[root@localhost haproxy-1.5.19]# scp root@192.168.1.10:/etc/haproxy/haproxy.cfg /etc/haproxy/
[root@localhost haproxy-1.5.19]# cp examples/haproxy.init /etc/init.d/haproxy
[root@localhost haproxy-1.5.19]# chmod +x /etc/init.d/haproxy #添加可执行权限
[root@localhost haproxy-1.5.19]# ln -s /usr/local/sbin/haproxy /usr/sbin/ #优化执行路径
[root@localhost haproxy-1.5.19]# /etc/init.d/haproxy start #开启 haproxy
3)安装 Keepalived
还是在192.168.1.110上操作
[root@localhost ~]# yum -y install keepalived
[root@localhost ~]# systemctl enable keepalived
[root@localhost ~]# cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak
[root@localhost ~]# echo '
global_defs {
router_id 2
}
vrrp_instance VI_1 {
state BACKUP
interface ens33
virtual_router_id 1
priority 90
advert_int 1
authentication {
auth_type PASS
auth_pass 123456
}
virtual_ipaddress {
192.168.1.188
}
}
' >/etc/keepalived/keepalived.conf
4)启用keepalived服务,并查看漂移IP是否存在
[root@localhost ~]# systemctl start keepalived
[root@localhost ~]# ip a
2.将 Haproxy1 服务器关闭
1)客户机访问 http://192.168.1.188 是否能够实现群集的访问
- 验证后再将 Haproxy1 服务器开机
2)改造 Haproxy1 服务器
[root@Haproxy ~]# yum -y install keepalived
[root@Haproxy ~]# systemctl enable keepalived
echo '
global_defs {
router_id 1
}
vrrp_instance VI_1 {
state MASTER
interface ens33
virtual_router_id 1
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 123456
}
virtual_ipaddress {
192.168.1.188
}
}
' >/etc/keepalived/keepalived.conf
[root@Haproxy ~]# systemctl start keepalived
[root@Haproxy ~]# ip a
现在已经实现了双机热备