LVS+Keepalived高可用群集部署

一、为什么要用Keepalived?

因为企业应用中,单台LVS服务器(单挂)承担应用存在单点故障的危险;单点故障一旦发生,企业服务将发生中断,造成极大的危害。

二、Keepalived工具介绍

专为LVS和HA设计的一款健康检查工具
支持故障自动切换
支持节点健康状态检查

三、Keepalived实现原理剖析

●Keepalived采用VRRP热备份协议实现Linux服务器的多机热备功能

●VRRP(虚拟路由冗余协议)是针对路由器的一种备份解决方案
由多台路由器组成一个热备组,通过共用的虚拟IP地址对外提供服务
每个热备组内同时只有一台主路由器提供服务,其他路由器处于冗余状态
若当前在线的路由器失效,则其他路由器会根据设置的优先级自动接替虚拟IP地址,继续提供服务

●Keepalived案例讲解
Keepalived可实现多机热备,每个热备组可有多台服务器
双机热备的故障切换是由虚拟IP地址的漂移来实现,适用于各种应用服务器
在这里插入图片描述

四、实例:负载均衡+高可用群集

●Keepalived的设计目标是构建高可用的LVS负载均衡群集,可以调用ipvsadm工具来创建虚拟服务器、管理服务器池,而不仅仅用做双击热备

●使用Keepalived构建LVS群集更加简便易用

●主要优势
对LVS负载调度器实现热备切换,提高可用性
对服务器池中的节点进行健康检查,自动移除失效节点,恢复后再重新加入
在这里插入图片描述

4.1LVS-DR调度服务部署

1.安装ipvsadm和keepalived软件包

[root@localhost ~]# yum -y install ipvsadm keepalived

2.修改/etc/sysctl.conf配置文件,添加如下参数

[root@localhost ~]# vim /etc/sysctl.conf
net.ipv4.ip_forward=1
#proc响应关闭重定向功能
net.ipv4.conf.all.send_redirects=0
net.ipv4.conf.default.send_redirects=0
net.ipv4.conf.ens33.send_redirects=0

[root@localhost ~]# sysctl -p  #让sysctl.conf立刻生效

3.设置ens33:0接口地址为虚拟IP地址

[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-ens33 ifcfg-ens33:0
[root@localhost network-scripts]# vim ifcfg-ens33:0
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.100.88
NETMASK=255.255.255.0

4.通过启动脚本实现DR工作模式

[root@localhost ~]#vim /etc/init.d/dr.sh
#!/bin/bash
VIP=192.168.100.88
RIP1=192.168.100.30
RIP2=192.168.100.50
case "$1" in
start)
    /sbin/ipvsadm --save > /etc/sysconfig/ipvsadm
    systemctl start ipvsadm
    /sbin/ifconfig ens33:0 $VIP broadcast $VIP netmask 255.255.255.0 broadcast $VIP up
    /sbin/route add -host $VIP dev ens33:0
    /sbin/ipvsadm -A -t $VIP:80 -s rr
    /sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g
    /sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
    echo "ipvsadm starting -----------[ok]"
;;
stop)
    /sbin/ipvsadm -C
    systemctl stop ipvsadm
    ifconfig ens33:0 down
    route del $VIP
    echo "ipvsadm stoped -----------[ok]"
;;
status)
 if [ ! -e /var/lock/subsys/ipvsadm ];then
  echo "ipvsadm stoped -----------"
  exit 1
else
  echo "ipvsadm running -----------[ok]"
fi
;;
*)
echo "Usage: $0 {start|stop|status}"
exit 1
esac
exit 0

[root@localhost ~]# chmod +x /etc/init.d/dr.sh
[root@localhost ~]# service dr.sh start
ipvsadm starting -----------[ok]
[root@localhost ~]# ifup ens33:0

4.2web节点服务器部署

1.安装、启动apache服务

[root@localhost ~]# yum -y install httpd
[root@localhost ~]# systemctl start httpd
[root@localhost ~]# systemctl stop firewalld.service 
[root@localhost ~]# setenforce 0

2.给两台web节点服务器添加不同内容的首页文件

[root@localhost ~]# cd /var/www/html/
[root@localhost html]# echo "this is test01" > index.html    #192.168.100.30节点首页
[root@localhost html]# echo "this is test02" > index.html    #192.168.100.50节点首页

3.给web节点服务器的环回地址添加子接口,配置虚拟IP

[root@localhost html]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@localhost network-scripts]# vim ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.100.88
NETMASK=255.255.255.255
[root@localhost network-scripts]# ifup lo:0

4.编写脚本,调整/proc系统的ARP响应参数,并添加一条到VIP的本地路由

[root@localhost ~]# vim /etc/init.d/web.sh
#!/bin/bash
VIP=192.168.100.88
case "$1" in
start)
  ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP up
  /sbin/route add -host $VIP dev lo:0
  echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
  echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
  echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
  echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
  sysctl -p > /dev/null 2>&1
  echo "RealServer Start OK"
;;
stop)
  ifconfig lo:0 down
  route del $VIP /dev/null 2>&1
  echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore
  echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce
  echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore
  echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce  
  echo "RealServer Stoped"
;;
*)
   echo "Usage: $0 {start|stop}"
   exit 1
esac
exit 0

[root@localhost ~]# chmod +x /etc/init.d/web.sh
[root@localhost ~]# service web.sh start 
RealServer Start OK

4.3keepalived高可用部署

4.3.1如何配置master调度器

(1)全局配置、热备参数配置
要为master和backup调度器实现热备功能,漂移地址使用LVS群集的VIP地址
(2)Web服务器池配置
在keepalived的热备配置基础上,添加“virtual_server VIP 端口 {…}”区段来配置虚拟服务器
包括负载调度算法、群集工作模式、健康检查间隔、真实服务器地址等参数

4.3.2如何配置backup调度器

和master服务器有三个配置要不相同,其余配置均相同:
(1)router_id:设和其他web服务器不一样的名称
(2)state:设为BACKUP
(3)priority:值要低于主服务器

4.3.3具体配置

先修改keepalived master服务器配置文件,backup服务器只需在keepalived master服务器配置文件的基础上修改router_id、state、priority三个参数即可

[root@localhost ~]# cd /etc/keepalived/
[root@localhost keepalived]# vim keepalived.conf 
global_defs {
    
             #全局参数
...省略内容
   smtp_server 127.0.0.1     #邮件服务指向本地
   router_id LVS_01        #指定名称,各个服务器名称要不一样
  
vrrp_instance VI_1 {
    
             #指定vrrp热备参数
    state MASTER      #服务器角色是master,备份服务器设置为BACKUP
    interface ens33     #修改物理网卡名称,默认是centos6的eth0
    virtual_router_id 51  #组号相同
    priority 100        #优先级,主服务器设置要大于备服务器
   authentication {
    
    
        auth_type PASS  #验证类型和密码,不建议修改
        auth_pass 1111   
    }
    virtual_ipaddress {
    
    
        192.168.100.88      #漂移地址(VIP)地址,可以有多个
    }
}
virtual_server 192.168.100.88 80 {
    
                #配置虚拟服务器
    delay_loop 6
    lb_algo rr       #调度算法为轮询
    lb_kind DR    #LVS的工作模式为DR(直连路由)

    real_server 192.168.100.30 80 {
    
    
        weight 1
        TCP_CHECK {
    
                #健康检查参数
            connect_port 80      #检查80端口连接是否正常
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
real_server 192.168.100.50 80 {
    
    
        weight 1
        TCP_CHECK {
    
    
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}
[root@localhost ~]# systemctl start keepalived

最后,在win10客户端浏览器访问VIP地址192.168.100.88进行验证,成功访问并且刷新能够看到不同的网页内容代表实验成功
在这里插入图片描述
在这里插入图片描述

4.4实验注意事项

由于本实验LVS采用的是DR模式,存在ARP广播问题

客户端寻找节点服务器的ARP问题:

在LVS-DR负载均衡集群中,负载均衡器与节点服务器都要配置相同的VIP地址,但是在局域网中具有相同的IP地址,势必会造成各服务器ARP通信的紊乱
当一个ARP广播发送到LVS-DR集群时,因为负载均衡器和节点服务器都是连接到相同的网络上的,它们都会接收到ARP广播
此时只有前端的负载均衡器进行响应,其他节点服务器不应该响应ARP广播

解决办法:
真实服务器的VIP地址应该配置成对外隐藏,对内可见,那么什么样的配置方式才能达到上述的效果呢,答案就是在我们的回环接口上配置这个VIP,使其不响应针对VIP的ARP请求
使用虚接口lo:0承载ⅥP地址
设置内核参数 arp_ignore=1:系统只响应目的IP为本地IP的ARP请求

关于真实web服务器上的VIP配置在环回接口上,且掩码必须配置成4个255。原因详见如下博客:
链接:https://blog.csdn.net/SmallCatBaby/article/details/89876508

节点服务器回复客户端时的ARP问题:

RealServer返回报文(源IP是VIP)经路由器转发,在重新封装报文时需要先获取路由器的MAC地址,发送ARP请求时, Linux默认使用IP包的源IP地址(即VIP)作为ARP请求包中的源IP地址,而不使用发送接口(例如ens33)的IP地址
这时路由器收到ARP请求后,将更新ARP表项,将原有的VIP对应 Director的MAC地址会被更新为ⅥP对应RealServer的MAC地址
问题来了,此时新来的请求报文,路由器根据ARP表项,会将该报文转发给RealServer,从而导致 Director的VIP失效

解决办法:
对节点服务器进行处理,设置内核参数arp_announce=2:系统不使用IP包的源地址来设置ARP请求的源地址,而选择发送接口的IP地址

猜你喜欢

转载自blog.csdn.net/chengu04/article/details/108356216