部署LVS-DR+Keepalived群集

LVS-DR模式

DR模式—直接路由（Direct Routing）

• 简称DR模式，采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络
• 负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道

LVS-DR数据包流向分析

• 为了方便进行原理分析，将Client与群集机器放在同一网络中，数据包流经的路线为1-2-3-4

（1）Client向目标VIP发出请求，Director（负载均衡器）接收，此时的IP包头及数据帧头信息为：

（2）Director根据负载均衡算法选择RealServer_1，不修改也不封装IP报文，而是将数据帧的MAC地址改为RealServer_1的MAC地址，然后在局域网上发送，IP包头及数据帧头信息如下：

（3）RealServer_1收到这个帧，解封装后发现目标IP与本机匹配（RealServer事先绑定了VIP），于是处理这个报文，随后重新封装报文，发送到局域网，此时IP包头及数据帧头信息为：

（4）Cliebt将收到回复报文，Client人为得到正常的服务，而不会知道哪一台服务器处理的
注意：如果跨网段，那么报文通过路由器经由Internet返回给用户

LVS-DR中的APR问题

• 在LVS-DR负载均衡集群中，负载均衡器与节点服务器都要配置相同的VIP地址
• 在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的絮乱
  （1）当一个ARP广播发送到LVS-DR群集时，因为负载均衡器和节点服务器都是连接到相同的网络上，它们都会接收到ARP广播
  （2）此时只有前端的负载均衡器进行响应，其它节点服务器不应该响应ARP广播
• 对节点服务器进行处理，使其不响应针对VIP的ARP请求
  （1）使用虚拟接口lo:0承载VIP地址
  （2）设置内核参数arp_ignore=1：系统只响应目的IP为本地IP的ARP请求
• RealServer返回报文（源IP是VIP）经路由器转发，再重新封装报文时，需要先获取路由器的MAC地址
• 发送APR请求时，Linux默认使用IP包的源IP地址（即VIP）作为ARP请求包中的源IP地址，而不使用发送接口（例如ens33）的IP地址
  
• 路由器收到ARP请求后，将更新ARP表项
• 原有的VIP对应Director的MAC地址将会被更新为VIP对应RealServer的MAC地址
  
• 此时新来的请求报文，路由器根据ARP表项，会将该报文转发给RealServer，从而导致Director的VIP失效
  
• 解决方法：
  对节点服务器进行处理，设置内核参数arp_announce=2：系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址

解决ARP的两个问题的设置方法

• 修改/etc/sysctl.conf文件
  net.ipv4.conf.lo.arp_ignore = 1
  net.ipv4.conf.lo.arp_announce = 2
  net.ipv4.conf.all.arp_ignore = 1
  net.ipv4.conf.all.arp_announce = 2

Keepalived

在企业应用中，单台服务器承担应用存在单点故障的危险，在企业应用集群中，存在了至少两处单点故障危险，单点故障一旦发生，企业服务将发生中断，造成极大的危害

Keepalived工具介绍

• 专为LVS和HA设计的一款健康检查工具
  支持故障自动切换（Failover）
  支持节点健康状态检查（Health Checking）
  
  Keepalived实现原理解析
• Keepalived采用VRRP热备份协议实现Linux服务器的多机热备功能
• VRRP，虚拟路由冗余协议，是针对路由器的一种备份解决方案
  （1）由多台路由器组成一个热备组，通过共用的虚拟IP地址对外提供服务
  （2）每个热备组内同一时刻只有一台主路由器提供服务，其它路由器处于冗余状态
  （3）若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务

部署LVS-DR+Keepalived群集实验

1、实验环境

• 实验拓扑图
  
• IP地址分配

主机名	IP地址
LVS主	192.168.100.110
LVS备	192.168.100.111
web1	192.168.100.201
web2	192.168.100.202
客户机	192.168.100.120

2、LVS主备配置DR调度器
（1）安装Keepalive和ipvsadm

[root@localhost ~]# yum install keepalived ipvsadm -y

（2）开启路由转发功能，proc响应关闭重定向功能

[root@localhost ~]# vim /etc/sysctl.conf
net.ipv4.ip_forward=1				//开启路由转发功能
#proc响应关闭重定向功能
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

[root@localhost ~]# sysctl -p		//生效配置
net.ipv4.ip_forward = 1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

（3）网卡配置

• 设置固定IP

[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# vim ifcfg-ens33 
...
BOOTPROTO="static"
...
IPADDR=192.168.100.110				//LVS备的IP地址为192.168.100.111
NETMASK=255.255.255.0
GATEWAY=192.168.100.1

• 配置虚拟网卡

[root@localhost network-scripts]# cp -p ifcfg-ens33 ifcfg-ens33:0
[root@localhost network-scripts]# vim ifcfg-ens33:0
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.100.10
NETMASK=255.255.255.0

• 配置完成要重启网卡

（4）创建LVS-DR模式启动脚本

[root@localhost ~]# vim /etc/init.d/dr.sh

#!/bin/bash
GW=192.168.100.1
VIP=192.168.100.10
RIP1=192.168.100.201
RIP2=192.168.100.202
case "$1" in
	start)
	/sbin/ipvsadm --save > /etc/sysconfig/ipvsadm
	systemctl start ipvsadm
	/sbin/ifconfig ens33:0 $VIP broadcast $VIP netmask 255.255.255.255 broadcast $VIP up
	/sbin/route add -host $VIP dev ens33:0
	/sbin/ipvsadm -A -t $VIP:80 -s rr
	/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g
	/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
	echo "ipvsadm starting--------------------|ok|"
	;;
	stop)
	/sbin/ipvsadm -C
	systemctl stop ipvsadm
	ifconfig ens33:0 down
	route del $VIP
	echo "ipvsadm stoped--------------------|ok|"
	;;
	status)
	if [ ! -e /var/lock/subsys/ipvsadm ];then
	echo "ipvsadm stoped--------------------"
	exit 1
	else
	echo "ipvsadm Running--------------------|ok|"
	fi
	;;
	*)
	echo "Usage: $0 {start|stop|status}"
	exit 1
esac
exit 0

[root@localhost ~]# vim /etc/init.d/dr.sh
[root@localhost ~]# chmod +x /etc/init.d/dr.sh 
[root@localhost ~]# service dr.sh start
ipvsadm starting--------------------|ok|

3、web服务器配置，两台服务器同样的配置
（1）安装web服务

[root@localhost ~]# yum install httpd -y

（2）网卡配置

• 设置固定IP

[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# vim ifcfg-ens33 
...
BOOTPROTO=static
...
IPADDR=192.168.100.201
NETMASK=255.255.255.0
GATEWAY=192.168.100.1

• 配置虚拟IP

[root@localhost network-scripts]# cp -p ifcfg-lo ifcfg-lo:0
[root@localhost network-scripts]# vim ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.100.10
NETMASK=255.255.255.0

• 配置完成要重启网卡

（3）建立web服务器抑制ARP响应脚本

[root@localhost ~]# cd /etc/init.d/
[root@localhost init.d]# vim web.sh
#!/bin/bash
VIP=192.168.100.10
case "$1" in
	start)
	ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
	/sbin/route add -host $VIP dev lo:0
	echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
	echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
	echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
	echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
	sysctl -p > /dev/null 2>&1
	echo "RealServer Start OK "
	;;
	stop)
	ifconfig lo:0 down
	route del $VIP /dev/null 2>&1
	echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore
	echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce
	echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore
	echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce
	echo "RealServer Stoped"
	;;
	*)
	echo "Usage: $0 {start|stop}"
	exit 1
esac
exit 0

[root@localhost init.d]# chmod +x web.sh 

（4）启动服务

[root@localhost init.d]# service web.sh start 
RealServer Start OK 
[root@localhost init.d]# systemctl start httpd
[root@localhost init.d]# ifup lo:0

（5）自检网站


4、Keepalived部署（在调度服务器上设置）
（1）更改主配置文件

[root@localhost ~]# vim /etc/keepalived/keepalived.conf

global_defs {
  ...
  smtp_server 127.0.0.1		//指向本地
  router-id LVS_01		//指定名称，备份服务器不同名称
  ...
}

vrrp_instance VI_1 {
  state MASTER			//备份服务器是BACKUP
  interface ens33
  virtual_router_id 10		//组号相同
  priority 100			//优先级备份小于主
  ...
  auth_pass 1111		//验证密码
  ...
  virtual_ipaddress {
	192.168.100.10
  }
  ...
virtual_server 192.168.100.10 80 {
  ...
  lb_kind DR
  ...
  real_server 192.168.100.201 80 {
	weight 1
	TCP_CHECK {
		connect_port 80			//添加端口
		connect_timeout 3
		nb_get_retry 3
		delay_before_retry 3
	}
  }
  real_server 192.168.100.202 80 {
	weight 1
	TCP_CHECK {
		connect_port 80
		connect_timeout 3
		nb_get_retry 3
		delay_before_retry 3
	}
  }
}

（2）开启服务
[root@localhost ~]# systemctl start keepalived
（3）客户端测试
（4）故障模拟，关闭主调度器网络，依旧可以访问