LVS_DR+keepalived（内涵理论与实验）

其他 2020-01-24 12:27:03 阅读次数: 0

文章目录

前言：

上篇博客介绍了LVS负载均衡群集的理论，并以其中NAT模式为例做了实验，具体可观看：https://blog.csdn.net/weixin_45726050/article/details/103993089，本篇将延续上篇内容，着重介绍LVS-DR、keepalived理论，并进行搭建部署以LVS-DR模式为基础加上keepalived辅助工具的实验。

一、LVS-DR工作原理

1.1 DR模式概述

  • 负载均衡群集工作模式-直接路由（Direct Routing）

    简称DR模式，采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络

    负责调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道

在这里插入图片描述

DR模式存在于私网，所有服务器都使用私有IP

负责调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道

1.2 LVS-DR数据包流向分析

  • 为方便进行原理分析，将client与群集机器放在同一网络种，数据包流经的路线为1-2-3-4
    在这里插入图片描述

  • ① Client向目标VIP发出请求，Director （负载均衡器）接收。此时IP包头及数据帧头信息为：
    在这里插入图片描述

  • ② Director根据负载均衡算法选择 Realserver_1,不修改也不封装IP报文，而是将数据帧的MAC地址改为RealServer_1的MAC地址，然后再局域网上发送。IP包头及数据帧头信息如下:
    在这里插入图片描述

  • ③ RealServer_1收到这个帧，解封装后发现目标IP与本机匹配（RealServer事先绑定了VIP），于是处理这个报文。随后重新封装报文，发送到局域网。此时IP包头及数据帧头信息为：
    在这里插入图片描述

  • ④ Client将收到恢复报文。Client认为得到正常的服务，而不会知道是哪一台服务器处理的

    需注意：如果跨网段，那么报文通过路由器经由internet返回给用户

1.3 LVS-DR种的APR问题

  • 在LVS-DR负载均衡集群种，负载均衡器与节点服务器都要配置相同的VIP地址

  • 在局域网中具有相同的IP，势必会造成个服务器ARP通信的紊乱

    当一个ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上的，它们都会收到ARP广播

    此时只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播

  • 对节点服务器进行处理，使其不响应针对VIP的ARP请求

    使用虚接口 lo:承载VIP地址

    设置内核参数 arp_ignore=1:系统只响应目的IP为本地IP的ARP请求

  • RealServer返回报文（源IP是VIP）经路由器转发，在重新封装报文时，需要先获取路由器的MAC地址

在这里插入图片描述

  • 发送ARP请求时，Linux默认使用IP包的源IP地址 (即VIP) 作为ARP请求包种的源IP地址，而不适用发送接口（例如ens33）的IP地址
    在这里插入图片描述

  • 路由器收到ARP请求后，将更新ARP表项

  • 原有的VIP对于 Director的MAC地址会被更新为VIP对于RealServer的MAC地址
    在这里插入图片描述

  • 此时新来的请求报文，路由器根据ARP表项，会将该报文转给RealServer，从而导致Director的VIP失效
    在这里插入图片描述
    在这里插入图片描述

  • 解决办法：

    对节点服务器进行处理，设置内核参数 arp_announce=2：系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址

1.4 解决ARP的两个问题的设置方法

  • 修改 /etc/sysctl.conf文件

    对节点服务器进行处理，使其不响应针对VIP的ARP请求

    net.ipv4.conf.lo.arp_ignore = 1

    net.ipv4.conf.lo.arp_announce = 2

系统不使用IP包的地址来设置ARP请求的源地址，而选择发送接口的IP地址

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2

二、部署LVS-DR+keepalived实验

环境：五台虚拟机，2台作为LVS-DR+keepalived架构，2台作为web服务器，并使用win10模拟客户机访问

定位：

centos7-4 （LVS1）IP=192.168.100.100

centos7-5 （LVS2） IP=192.168.100.110

Web1：192.168.100.200

Web2：192.168.100.222

VIP：IP=192.168.100.10

Win10 ：192.168.100.50

拓扑图：

在这里插入图片描述

2.1 配置LVS调度器
  • 两台调度器安装keepalived和ipvsadm
[root@lvs1 ~]# yum install keepalived ipvsadm -y
2.1.1 修改路由配置文件
  • 在两台LVS服务器上修改内核参数文件
[root@lvs1 ~]# vim /etc/sysctl.conf
net.ipv4.ip_forward=1						#开启路由转发功能
net.ipv4.conf.all.send_redirects = 0		#关闭重定向功能
net.ipv4.conf.default.send_redirects = 0	#关闭重定向功能
net.ipv4.conf.ens33.send_redirects = 0		#关闭重定向功能
#启用重定向功能
[root@lvs1 ~]# sysctl -p     
net.ipv4.ip_forward = 1						
net.ipv4.conf.all.send_redirects = 0		
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
2.1.2 设置虚拟网卡

虚拟网卡有两种启用形式：

第一种是ifcfg ens33:0 （跟ip地址）：此方式是临时定义，重启后不生效

第二种是定义一个配置文件，通过配置文件启动虚拟网卡

  • 修改两台服务器的虚拟网卡配置文件
[root@lvs1 etc]# cd /etc/sysconfig/network-scripts/
[root@lvs1 network-scripts]# cp -p ifcfg-ens33 ifcfg-ens33:0
[root@lvs1 network-scripts]# vim ifcfg-ens33
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.100.10
NETMASK=255.255.255.0
#清除原内容，添加以上内容
  • 在两台LVS服务器上定义启动脚本
[root@lvs2 network-scripts]# cd /etc/init.d/
[root@lvs2 init.d]# vim dr.sh
#!/bin/bash
GW=192.168.100.1
VIP=192.168.100.10
RIP1=192.168.100.200
RIP2=192.168.100.222
case "$1" in
start)
          /sbin/ipvsadm --save > /etc/sysconfig/ipvsadm
          systemctl start ipvsadm
          /sbin/ifconfig ens33:0 $VIP broadcast $VIP netmask 255.255.255.255 broadcast $VIP up
          /sbin/route add -host $VIP dev ens33:0
          /sbin/ipvsadm -A -t $VIP:80 -s rr
          /sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g
          /sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
          echo "ipvsadm starting-----------------------[ok]"
          ;;
          stop)
          /sbin/ipvsadm -C
          systemctl stop ipvsadm
          ifconfig ens33:0 down
          route del $VIP
          echi "ipvsamd stoped--------------------------[ok]"
          ;;
          status)
          if [ ! -e /var/lock/subsys/ipvsadm ];then
          echo "ipvsadm stoped ---------------------"
          exit 1
                    else
                    echo "ipvsadm Runing ----------[ok]"
          fi
          ;;
          *)
          echo "Usage: $0  {start|stop|status}"
          exit 1
          esac
          exit 0
------------wq
[root@lvs2 init.d]# chmod +x dr.sh

上述配置完成后，即可便于service管理，同时将两台centos设置为仅主机模式

dr.sh脚本主要内容含义：

start)

GW=192.168.100.1 ：GW网关 因为四台服务器没有做网关，但是连接了里面的路由器，做了NAT，所以需要网关

VIP=192.168.100.10：VIP 浮动IP 访问私有网段的唯一入口，定位web群集的关键，VIP的浮动地址由虚拟网卡ens33：0定义

RIP1=192.168.100.201、RIP2=192.168.100.202：2台RIP 节点服务器各自IP，需要保证在同一网段，或者保证和VIP能连通的网段

/sbin/ipvsadm --save > /etc/sysconfig/ipvsadm：匹配start （为了防止出问题，需要保存配置，所以用–save > /etc/sysconfig/ipvsadm）

/sbin/ifconfig ens33:0 $VIP broadcast $VIP netmask 255.255.255.255 broadcast $VIP up：通过ens33:0设定VIP的广播地址并开启 （设置IP地址信息）

/sbin/route add -host $VIP dev ens33:0：添加网段信息 通过ens33：0访问VIP网段

/sbin/ipvsadm -A -t $VIP:80 -s rr、/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g、/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g：使用ipvsadm工具开启调度算法：“轮询” 访问两台节点服务器

stop)

/sbin/ipvsadm -C：清除所有缓存

systemctl stop ipvsadm：停止服务

ifconfig ens33:0 down：关闭虚拟网卡

route del $VIP：删除路由段

status）

if [ ! -e /var/lock/subsys/ipvsadm ];then：（布尔值：真/假判断）【判断ipvsadm文件不存在】，如判断成立则输出服务停止，因为服务只有在开启时才会产生ipvsamd 如果判断不成立则输出服务为开启状态

  • 修改两台服务器网卡、启动LVS服务

直接使用正则表达式修改网卡

cd /etc/sysconfig/network-scripts/
sed -i '4s/dhcp/static/' ifcfg-ens33
cat >> /etc/sysconfig/network-scripts/ifcfg-ens33 <<-EOF
IPADDR=192.168.100.100
NETMASK=255.255.255.0
GATEWAY=192.168.100.1
EOF
service network restart
  • 启动LVS服务
#LVS1服务器
[root@lvs1 network-scripts]# service dr.sh start
ipvsadm starting-----------------------[ok]
#LVS2服务器
[root@lvs1 network-scripts]# service dr.sh start
ipvsadm starting-----------------------[ok]
  • 关闭防火墙、增强性安全功能
[root@lvs1 network-scripts]# systemctl stop firewalld.service
[root@lvs1 network-scripts]# setenforce 0
  • 开启网卡与虚拟网卡
[root@lvs2 network-scripts]# systemctl restart network
[root@lvs2 network-scripts]# ifup ens33:0

注意：如果ens33:0虚拟网卡开启报错，重新开启网卡，然后再次尝试

2.2 配置web服务器
2.2.1 安装apache
[root@web1 ~]# yum install httpd -y
........省略部分内容
[root@web1 ~]# systemctl start httpd.service
[root@web1 ~]# systemctl stop firewalld.service 
[root@web1 ~]# setenforce 0
  • 在两台web服务器创建站点首页
[root@web1 ~]# cd /var/www/html
[root@web1 html]# echo "<h1>this is taob web</h1>" > index.html
[root@web2 ~]# cd /var/www/html
[root@web2 html]# echo "<h1>this is jingd web</h1>" > index.html
  • 创建虚拟网卡

使用回环网卡作为模板创建虚拟网卡

[root@web1 html]# cd /etc/sysconfig/network-scritps
[root@web1 network-scripts]# vim ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.100.10
NETMASK=255.255.255.0
ONBOOT=yes
  • 在两台web服务器上定义脚本，设置ARP忽略
[root@web1 network-scripts]# cd /etc/init.d/
[root@web1 init.d]# cat >> web.sh <<-EOF
> #!/bin/bash
> VIP=192.168.100.10
>           case "$1" in
>           start)
>                     ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP   #开启虚拟IP
>                     /sbin/route add -host $VIP dev     #开启网段访问 -host $VIP 能通过指定的虚拟IP，绑定在dev lo：0绑定执行的虚拟网卡上s
>                     echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore       
>                     echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce 
>                     echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
>                     echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
	#以上四段都是定义ARP忽略
>                     sysctl -p > /dev/null 2>&1   #刷新启动
>                     echo "RealServer Start OK "
>                     ;;
>           stop)
>                     ifconfig lo:0 down
>                     route del $VIP /dev/null 2>&1
>                     echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
>                     echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
>                     echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
>                     echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
>                     ;;
>           *)
>                     echo "Usage: $0 {start | stop}"
>                     exit 1
>           esac
>           exit 0
> EOF
[root@web1 init.d]# chmod +x web.sh

第二台可直接远程推送过去

格式：scp /etc/init.d/web.sh [email protected]. 222:/etc/init.d/

  • 修改两台web服务器网卡
#web1节点服务器
[root@web1 init.d]# cd /etc/sysconfig/network-scripts/
[root@web1 network-scripts]# sed -i '4s/dhcp/static/' ifcfg-ens33
[root@web1 network-scripts]# cat >> /etc/sysconfig/network-scripts/ifcfg-ens33 <<-EOF
> IPADDR=192.168.100.200
> NETMASK=255.255.255.0
> GATEWAY=192.168.100.1
> EOF
[root@web1 network-scripts]# ifup lo:0
[root@web1 network-scripts]# systemctl restart network
#web2节点服务器
[root@web2 init.d]# cd /etc/sysconfig/network-scripts/
[root@web2 network-scripts]# sed -i '4s/dhcp/static/' ifcfg-ens33
[root@web2 network-scripts]# cat >> /etc/sysconfig/network-scripts/ifcfg-ens33 <<-EOF
> IPADDR=192.168.100.222
> NETMASK=255.255.255.0
> GATEWAY=192.168.100.1
> EOF
[root@web2 network-scripts]# ifup lo:0
[root@web2 network-scripts]# systemctl restart network
  • 开启服务
#web1节点服务器
[root@web1 network-scripts]# service web.sh start
RealServer Start OK 
#web2节点服务器
[root@web2 network-scripts]# service web.sh start
RealServer Start OK

以上DR模式节点部署完成，下面开始设置keepalived

2.3 部署keepalived
2.3.1 修改两台LVS调取器配置

在LVS1上配置

[root@lvs1 ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   notification_email {
     [email protected]
     [email protected]
     [email protected]
   }
   notification_email_from [email protected]
   smtp_server 127.0.0.1			#修改邮箱服务，将地址指向本机
   smtp_connect_timeout 30			#连接超时时间
   router_id LVS_01				#router_id标识，不可重复
   vrrp_skip_check_adv_addr
   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}
    
vrrp_instance VI_1 {
    state MASTER				#主LVS调度器为MASTER，备LVS调度器为BACKUP
    interface ens33				#原端口为ehto，修改为ens33
    virtual_router_id 10			#虚拟LVS组号，主、备服务器的组号要相同
    priority 100				#优先级，备服务器要小于主服务器
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.100.10				#这里原有三个IP，删掉2个并且将第一个修改为虚拟VIP地址
    }
}

virtual_server 192.168.100.10 80 {  #虚拟服务配置项，将原ip修改为虚拟VIP地址，同时将端口修改为80端口（原为443 https)
    delay_loop 6
    lb_algo rr					#轮询算法
    lb_kind DR					#将原NAT模式修改为DR模式
    persistence_timeout 50
    protocol TCP

    real_server 192.168.100.200 80 {	#web1节点配置
        weight 1				#权重为1 （加权轮询会使用）
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
	real_server 192.168.100.222 80 {	#web2节点配置
		weight 1 
		TCP_CHECK { 
			connect_port 80 
			connect_timeout 3  
			nb_get_retry 3
			delay_before_retry 3
		}
	} 
}

LVS2调度器上与LVS1基本一致，不同处如下：

[root@lvs1 ~]# vim /etc/keepalived/keepalived.conf 
........省略内部分容
router_id LVS_02     #router_id不能与LVS1相同
........省略内部分容
vrrp_instance VI_1 {
    state BACKUP	 #在LVS2的状态配置中修改为“BACKUP“备服务器
    interface eth0
    virtual_router_id 10c
    priority 95		 #优先级需要低于主服务器，建议修改为95
........省略内部分容

开启服务

[root@lvs1 ~]# systemctl start keepalived
[root@lvs2 ~]# systemctl start keepalived
2.4 验证
  • 开启一台win10虚拟机

选择仅主机模式，同时将ip地址修改如下：
在这里插入图片描述
使用win10访问192.168.100.10
在这里插入图片描述

此时可以关闭主LVS调度服务器的漂移地址：ifdown ens33：0，模拟故障，同时再次使用win10进行访问，依然可以正常访问，此时双机热备成功

我们可以多次刷新，会显示另一台节点服务器的站点首页
在这里插入图片描述

总结

整体实验比较简单，中间有几个地方需要注意：

1、虚拟IP(浮动IP）必须相同（192.168.100.10）

2、在定义dr.sh 脚本时 GW、VIP、RIP1、RIP2等地址要填写正确（验证时无法访问的话，此处是一个检查点）

3、在修改两台LVS服务器keepalived双机热备的配置项时，要注意 “{}”的范围，不能缺少，同时，要注意 “router_id” 号不可重复，“virtual_router_id” 主备号必须相同，否则不在一个集群中
在修改 priority （优先级）中，备用LVS调度器的优先级建议设置为95，主LVS调度器的优先级为100，在默认情况下，在主调度器宕机时，主服务器的优先级会降10，如果与LVS2的优先级相同，也会导致验证时无法访问站点，需要重启服务。

4、因为虚拟机环境有的功能产生了一定的冲突，在我们完成实验、所有服务、网卡均开启、防火墙与增强性安全功能已关闭，同时配置项均正常的情况下出现：四台服务器无法互相ping 通，客户机（win10）无法ping通LVS服务器和虚拟IP或无法访问站点等问题。
遇到以上问题，可以尝试重启各项服务、down掉 lo:0尝试。

weixin_45726050
发布了48 篇原创文章 · 获赞 46 · 访问量 6604
私信 关注

猜你喜欢

转载自blog.csdn.net/weixin_45726050/article/details/104040872
今日推荐
火速冲上 GitHub 热榜 —— 开源编程语言、框架哪有这么可爱？
北京人形机器人创新中心发布全球首个纯电驱拟人奔跑的全尺寸人形机器人“天工”
LFOSSA 源来如此公开课 | 掌握云原生未来：CNCF 认证全面攻略与备考秘籍
国产云输入法——仅华为无云端数据上传安全问题
开源日报 | 工业开源项目OGG 1.0；姐姐，你要和我一起配置火狐吗；苹果AI遥遥落后？Fedora 40
开放签电子签章：停止新增，优化体验，前进更进（五一假期前工作）
周排行
Metasploit文件目录与入侵基本概念
跨域(CORS)请求问题[No 'Access-Control-Allow-Origin' header is present on the requested resource]常见解决方案
CodeIgniter 源码解读之 CodeIgniter.php（二）
SAS入门之（四）改变数据类型
初识元组
[数学建模]数学建模算法和模型（B站视频）（二）
Nginx 服务器源码安装配置流程
C#实现语音视频录制 【基于MCapture + MFile】
开发进度4
下载安装vue的方法网址
每日归档
更多
2024-04-28(0)
2024-04-27(56)
2024-04-26(39)
2024-04-25(22)
2024-04-24(36)
2024-04-23(26)
2024-04-22(39)
2024-04-21(0)
2024-04-20(6)
2024-04-19(5)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022