LVS-DR与Keepalived群集 怎么搞？

一、LVS-DR 工作原理

1.1 DR模式概述

• 负载均衡群集工作模式–直接路由（Direct Routing）
• 简称DR模式，采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络
• 负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道

1.2 数据包流量分析

• 为了方便分析，将客户端与群集机器放在同一网络中，如下图所示，数据包流经的路线为1-2-3-4
  
• 1、Client向目标VIP发出请求， Director（负载均衡器）接收。
• 2、 .Director根据负载均衡算法选择 Realserver_1，不修改也不封装IP报文，而是将数据帧的MAC地址改为RealServer_1的MAC地址，然后在局域网上发送。
• 3、.RealServer_1收到这个帧，解封装后发现目标IP与本机匹配（ RealServer事先绑定了VIP），于是处理这个报文。随后重新封装报文，发送到局域网。
• 4、Client将收到回复报文。 Client认为得到正常的服务，而不会知道是哪一台服务器处理的
  注意：如果跨网段，那么报文通过路由器经由 terne返回给用户

1.3 LVS-DR 中的ARP 问题

1.3.1 在局域网中具有相同ID地址

• 在LVS-DR的负载均衡集群中，负载均衡器与节点服务器都要配置相同的VIP地址
• 在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱
  当一个ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上的，它们都会接收到ARP广播
  此时只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播
  解决办法：
  对节点服务器进行处理，使其不响应针对VIP的ARP请求
  使用虚接口lo:0承载ⅥP地址
  设置内核参数 arp_ignore=1：系统只响应目的IP为本地IP的ARP请求

1.3.2 服务器回应客户端时

• RealServe返回报文（源IP是VIP）经路由器转发，在重新封装报文时需要先获取路由器的MAC地址
• 发送ARP请求时， Linux默认使用IP包的源IP地址（即VIP）作为ARP请求包中的源IP地址，而不使用发送接口（例如ens33）的IP地址
• 路由器收到ARP请求后，将更新ARP表项，原有的VIP对应 Director的MAC地址会被更新为ⅥP对应RealServer的MAC地址，此时新来的请求报文，路由器根据ARP表项，会将该报文转发给RealServer，从而导致 Director的VIP失效。
  解决办法：
  对节点服务器进行处理，设置内核参数arp_announce=2：系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址

1.3.3 解决ARP的两个问题的设置方法

• 修改/etc/sysctl.conf

# 对节点服务器进行处理，使其不响应针对VIP的ARP请求
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
# 系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

二、Keepalived介绍

• 专为LVS和HA设计的一款健康检查工具
  支持故障自动切换（Failover）
  支持节点健康状态检查（Health Checking）

2.1 Keepalived实现原理剖析

• Keepalived 采用VRRP热备份协议实现Linux服务器的多级热备份功能
• VRRP(虚拟路由冗余协议)是针对路由器的一种备份解决方案
  由多台路由器组成一个热备组，通过共用的虚拟IP地址对外服务
  每个热备组内同时只有一台主路由器提供服务，其他路由处于冗余状态
  若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务

2.2 Keepalived 的配置项

• Keepalived配置目录位于/etc/keepalived

2.2.1 Keepalived.conf是主配置文件

global_defs{……} 区段指定全局配置参数
vrrp_instance 实例名称{……}区段指定VRRP 热备参数
注释文字以“！”符号开头
目录samples，提供了许多配置样例作为参考

2.2.2 常用配置项

router_id HA_TEST_R1: 本路由器（服务器）的名称，唯一
vrrp_instance VI_1 : 定义VRRP热备实例
state MASTER :热备状态，MASTER 表示主服务器，BACKUP 表示备用
interfance  ens33 ： 承载VIP 地址的物理接口
virtual_router_id 1: 虚拟路由的ID号（组号），每个热备保持一致
Priority  100： 优先级，数值越大，优先级越高，备份服务器需低于主服务器
advert_int 1: 通告间隔秒数（心跳频率）
auth_type  PASS：  认证类型
virtual_ipaddress{vip}: 指定漂移地址（VIP），可以有多个

三、LVS-DR与Keepalived群集实验

3.1 实验环境

• 四台Centos 虚拟机 1台windows 系统虚拟机
• 两台Centos虚拟机分别做LVS的主备服务器DR1和DR2，两台CentOS 做服务器web1和web2，window系统做客户端
  VTP 192.168.200.10
  DR1: 192.168.200.100
  DR2: 192.168.200.101
  WEB1: 192.168.200.200
  WEB2: 192.168.200.201
  

3.2 调度器的配置

• DR1和DR2 都需要进行下列操作

3.2.1 服务的安装与网卡配置

• 服务安装与限制重定向

yum  install  keepalived  ipvsadm  -y        ## 两台都要安装

[root@localhost ~]# vim /etc/sysctl.conf  ## 限制重定向
net.ipv4.ip_forward=1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

sysctl -p   ## 生效

• 虚拟网卡的配置

[root@dr1 network-scripts]# cp -p ifcfg-ens33 ifcfg-ens33:0
[root@dr1 network-scripts]# vim ifcfg-ens33:0
DEVICE=ens33:0   ## 注意网卡名称是ens33 还是eth0   要对应
ONBOOT=yes
IPADDR=192.168.200.10
NETMASK=255.255.255.0

3.2.3 DR的配置

[root@dr1 ~]# cd /etc/init.d
[root@dr1 init.d]# vim dr.sh
#!/bin/bash
GW=192.168.200.1
VIP=192.168.200.10
RIP1=192.168.200.200
RIP2=192.168.200.201
case "$1" in
start)
        /sbin/ipvsadm --save > /etc/sysconfig/ipvsadm
        systemctl start ipvsadm
        /sbin/ifconfig ens33:0 $VIP broadcast $VIP netmask 255.255.255.0  broadcast $VIP up
        /sbin/route add -host $VIP dev ens33:0
        /sbin/ipvsadm -A -t $VIP:80 -s rr
        /sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g
        /sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
        echo "ipvsadm starting----------------------[OK]"
        ;;
        stop)
        /sbin/ipvsadm -C
        systemctl stop ipvsadm
        ifconfig ens33:0 down
        route del $VIP
        echo "ipvsadm stoped-----------[OK]"
        ;;
        status)
        if [ ! -e /var/lock/subsys/ipvsadm ];then
        echo "ipvsadm stoped--------------"     
        exit 1
        else
        echo "ipvsadm Runing -----------[OK]"
        fi
        ;;
        *)
        echo "Usage: $0 {start|stop|status}"
        exit 1
        esac
        exit 0
[root@dr1 init.d]# chmod +x dr.sh
[root@dr1 init.d]# systemctl stop firewalld.service 
[root@dr1 init.d]# setenforce 0
[root@dr1 ~]# systemctl restart network
[root@dr1 ~]# service dr.sh start
ipvsadm starting----------------------[OK]

3.3 节点服务器的配置

• 两台节点服务器都需要做以下操作

3.3.1 虚拟地址配置与网站站点配置

[root@web1 ~]# systemctl start httpd.service
[root@web1 ~]# systemctl stop firewalld.service 
[root@web1 network-scripts]# cp -p ifcfg-ens35 ifcfg-lo:0      ## 注意网卡名称
[root@web1 network-scripts]# vim  ifcfg-lo:0
DEVICE=lo:0    ## 注意环回口是不是lo
ONBOOT=yes
IPADDR=192.168.200.10
NETMASK=255.255.255.0
[root@web1 network-scripts]# systemctl restart network
[root@web2 ~]# vim /var/www/html/index.html    ## web2 可以写点不一样的
<h1>this is web1 </h1>

3.3.2 节点服务器的配置

[root@web1 network-scripts]# cd /etc/init.d/
[root@web1 init.d]# vim web.sh
#!/bin/bash
VIP=192.168.200.10
case "$1" in
start)    ##屏蔽针对ARP的相应请求 与选择发送接口的IP地址来这是ARP请求的地址
    ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
    /sbin/route add -host $VIP dev lo:0
    echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
    echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
    sysctl -p > /dev/null 2>&1
    echo "RealServer Start OK"
    ;;
stop)
    ifconfig lo:0 down
    route del $VIP /dev/null 2>&1
    echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce
    echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce
    echo "RealServer Stopd"
    ;;
*)
    echo "Usage: $0 {start|stop}"
    exit 1
	 esac
        	exit 1
[root@web1 init.d]# chmod +x web.sh
[root@web1 init.d]# service web.sh start 
RealServer Start OK
[root@web1 init.d]# systemctl restart httpd

打开节点服务器浏览器 访问127.0.0.1 测试web服务

3.4 Keepalived部署

上面已经通过yum安装Keepalived服务

• 在两台DR服务器上修改配置文件

[root@dr2 init.d]# cd /etc/keepalived/
[root@dr2 keepalived]# vim keepalived.conf 

! Configuration File for keepalived

global_defs {
   notification_email {
     [email protected]
     [email protected]
     [email protected]
   }
   notification_email_from [email protected]
   smtp_server 127.0.0.1                 ## 修改为本地
   smtp_connect_timeout 30
   router_id LVS_02          ## 唯一标识，要唯一
   vrrp_skip_check_adv_addr
   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

vrrp_instance VI_1 {
    state BACKUP                  ## 主服务器要修改为MASTER
    interface ens33				## 主要网卡的名字要对应
    virtual_router_id 10            ## 组号 两台DR 必须一样
    priority 92					## 优先级  要低于主服务器
    advert_int 1
    authentication {				## 密码认证  建议默认不修改
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress { 
        192.168.200.10          ## 虚拟ip池
    }
}

virtual_server 192.168.200.10 80 {      
    delay_loop 6
    lb_algo rr                   ## 轮询
    lb_kind DR					## 模式采用DR
    persistence_timeout 50
    protocol TCP

    real_server 192.168.200.200 80 {		## 服务器WEB1的地址
        weight 1							## 权重   这里设置一样
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
    real_server 192.168.200.201 80 { 		## 服务器WEB2的地址 
        weight 1							## 权重 这里设置一样
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

3.5 测试

• 客户端
  
• 测试虚拟地址连通性

• 访问虚拟地址 发现网站轮询
  
  
• 关掉主DR 发现 另一台顶替上去 。