群集架构--直接路由模式LVS-DR的工作原理及应用

1.LVS-DR工作原理

1.1 DR模式概述

  • 负载均衡群集工作模式–直接路由(Direct Routing),简称DR模式。采用半开放式的网络结构,与TUN模式的结构类似,但各节点并不是分散在各地,而是与调度器位于同一个物理网络;
  • 负载调度器与各节点服务器通过本地网络连接,不需要建立专用的IP隧道。

1.2 LVS-DR中的ARP问题

在这里插入图片描述

  • 在LVS-DR负载均衡集群中,负载均衡器与节点服务器都要配置相同的VIP地址

1.2.1 ARP问题1

在局域网中具有相同的IP地址,势必会造成各服务器ARP通信的紊乱

  • 当ARP广播发送到LVS-DR集群时,因为负载均衡器和节点服务器都是连接到相同的网络上,它们都会接收到ARP广播;
  • 只有前端的负载均衡器进行响应,其他节点服务器不应该响应ARP广播

1.2.2 ARP问题2

对节点服务器进行处理,使其不响应针对VIP的ARP请求

  • 使用虚接口lo:0承载VIP地址;
  • 设置内核参数arp ignore=1:系统只响应目的IP为本地IP的ARP请求。

1.2.3 ARP问题3

  • RealServer返回报文(源IP是VIP)经路由器转发,重新封装报文时,需要先获取路由器的MAC地址;
  • 发送ARP请求时,Linux默认使用IP包的源IP地址(即VIP)作为ARP请求包中的源IP地址,而不使用发送接口的IP地址。

1.2.4 ARP问题4

  • 路由器收到ARP请求后,将更新ARP表项;
  • 原有的VIP对应Director的MAC地址会被更新为VIP对应RealServer的MAC地址。
    在这里插入图片描述

1.2.5 ARP问题5

  • 路由器根据ARP表项,会将新来的请求报文转发给RealServer,导致Director的VIP失效。

1.3 解决ARP两个ARP问题的设置方法

修改/etc/sysctl.conf文件

  • 对节点服务器进行处理,使其不响应针对VIP的ARP请求
    net.ipv4.conf.lo.arp_ignore = 1
    net.ipv4.conf.all.arp_ignore = 1
  • 系统不使用IP包的源地址来设置ARP请求的源地址,而选择发送接口的IP地址
    net.ipv4.conf.lo.arp_announce = 2
    net.ipv4.conf.all.arp_announce = 2

2.LVS-DR数据包流向分析

  • Client 向目标VIP发出请求,Director(负载均衡器)接收;
  • Director根据负载均衡算法选择RealServer_1,不修改也不封装IP报文,而是将数据帧的MAC地址改为RealServer_1的MAC地址,然后在局域网上发送;
  • RealServer_1收到这个帧解封装后发现目标IP与本机匹配(RealServer事先绑定了VIP),于是处理这个报文。随后重新封装报文,发送到局域网;
  • Client将收到回复报文。Client认为得到正常的服务,而不会知道是哪一台服务器处理的。
    注意:如果跨网段,则报文通过路由器经由Internet返回给用户。

3.构建LVS-DR模式负载均衡群集

3.1 案例环境

LVS负载均衡群集—直接路由模式(LVS-DR)环境

(1)LVS负载调度服务器一台

  • IP地址:192.168.70.10

(2)Web服务器两台

  • IP地址:192.168.70.11 (SERVER AA)
  • IP地址:192.168.70.12(SERVER AB)
    注意:这里Web服务器的网关不需要指向调度器网卡
  • lo:0(VIP)地址:192.168.70.200

(3)NFS共享服务器

  • IP地址:192.168.70.13

(4)客户端一台,用于测试验证

  • IP地址:192.168.70.14
  • 注意:一般情况下,client和LVS-DR不在同一网段,这是为了测试,我们将client与LVS-DR设在同一网段。

注意:需确保相同网段之间能互相通信

3.2 实验目的

  • win10客户机访问虚接口地址 192.168.70.200 ,通过DR直接路由,轮询的访问到Apache1和Apache2主机;
  • 搭建出nfs网络文件存储服务。

3.3 项目步骤

3.3.1 配置NFS存储服务器

[root@nfs ~]# rpm -qa | grep rpcbind		//默认虚拟机已安装rpcbind模块
rpcbind-0.2.0-42.el7.x86_64
[root@nfs ~]# yum -y install nfs-utils	//确认是否安装nfs-utils软件包
已加载插件:fastestmirror, langpacks
base                                                     | 3.6 kB     00:00     
Loading mirror speeds from cached hostfile
 * base: 
软件包 1:nfs-utils-1.3.0-0.48.el7.x86_64 已安装并且是最新版本
无须任何处理
[root@nfs ~]# mkdir /opt/web1
[root@nfs ~]# mkdir /opt/web2
[root@nfs ~]# echo "<h1>this is web1.</h1>" > /opt/web1/index.html
[root@nfs ~]# echo "<h1>this is web2.</h1>" > /opt/web2/index.html
[root@nfs ~]# vi /etc/exports
/opt/web1 192.168.70.11/32 (ro)
/opt/web2 192.168.70.12/32 (ro)
[root@nfs ~]# systemctl restart nfs
[root@nfs ~]# systemctl restart rpcbind
[root@nfs ~]# showmount -e
Export list for nfs:
/opt/web2 (everyone)
/opt/web1 (everyone)

3.3.2 配置Web站点服务器

  • 在Web1上进行的配置
[root@web1 ~]# yum -y install httpd
[root@web1 ~]# showmount -e 192.168.70.13
Export list for 192.168.70.13:
/opt/web2 (everyone)
/opt/web1 (everyone)
[root@web1 ~]# mount 192.168.70.13:/opt/web1 /var/www/html
[root@web1 ~]# systemctl restart httpd
[root@web1 ~]# netstat -anpt | grep httpd
tcp6       0      0 :::80                   :::*                    LISTEN      55954/httpd   
[root@web1 ~]# vi web1.sh
#!/bin/bash
#lvs dr模式 web1
ifconfig lo:0 192.168.70.200 broadcast 192.168.70.200 netmask 255.255.255.255 up
route add -host 192.168.70.200 dev lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p &>/dev/null

[root@web1 ~]# sh web1.sh
[root@web1 ~]# ifconfig		//查看虚拟端口
[root@web1 ~]# route -n 	//查看路由
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.70.10   0.0.0.0         UG    100    0        0 ens33
192.168.70.0    0.0.0.0         255.255.255.0   U     100    0        0 ens33
192.168.70.200  0.0.0.0         255.255.255.255 UH    0      0        0 lo
192.168.122.0   0.0.0.0         255.255.255.0   U     0      0        0 virbr0

在这里插入图片描述
在这里插入图片描述

  • 在Web2上进行的配置
[root@web2 ~]# yum -y install httpd
[root@web2 ~]# mount 192.168.70.13:/opt/web2 /var/www/html
[root@web2 ~]# systemctl start httpd
[root@web2 ~]# netstat -anpt | grep httpd
tcp6       0      0 :::80                   :::*                    LISTEN      54695/httpd 
[root@web2 ~]# vi web2.sh
#!/bin/bash
#lvs_dr模式 web2
ifconfig lo:0 192.168.70.200 broadcast 192.168.70.200 netmask 255.255.255.255 up
route add -host 192.168.70.200 dev lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p &>/dev/null

[root@web2 ~]# sh web2.sh
[root@web2 ~]# ifconfig		//查看虚拟端口
[root@web2 ~]# route -n 	//查看路由
kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.70.10   0.0.0.0         UG    100    0        0 ens33
192.168.70.0    0.0.0.0         255.255.255.0   U     100    0        0 ens33
192.168.70.200  0.0.0.0         255.255.255.255 UH    0      0        0 lo
192.168.122.0   0.0.0.0         255.255.255.0   U     0      0        0 virbr0

在这里插入图片描述
在这里插入图片描述

3.3.3 LVS-DR调度器配置

  • 加载ip_vs模块
[root@lvs_dr ~]# modprobe ip_vs     	  '//加载ip_vs模块'
[root@lvs_dr ~]# cat /proc/net/ip_vs      '//查看ip_vs版本信息'
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port Forward Weight ActiveConn InActConn
  • 安装ipvsadm
[root@lvs_dr ~]# yum -y install ipvsadm
  • 编写脚本配置LVS-DR
[root@lvs_dr ~]# vim lvs_dr.sh
#!/bin/bash
ifconfig ens33:0 192.168.70.200 broadcast 192.168.70.200 netmask 255.255.255.255 up   
											  '//添加虚拟地址'
route add -host 192.168.70.200 dev ens33:0    '//ens33:0 添加路由'
ipvsadm -C
ipvsadm -A -t 192.168.70.200:80 -s rr
ipvsadm -a -t 192.168.70.200:80 -r 192.168.70.11:80 -g
ipvsadm -a -t 192.168.70.200:80 -r 192.168.70.12:80 -g
ipvsadm -Ln   '//查看节点状态'

[root@lvs_dr ~]# sh lvs_dr.sh
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.70.200:80 rr
  -> 192.168.70.11:80             Route   1      0          0         
  -> 192.168.70.12:80             Route   1      0          0  

3.4 验证结果

  • 客户机在浏览器上访问得
    在这里插入图片描述
    在这里插入图片描述
  • 查看真实调度明细
[root@lvs_dr ~]# ipvsadm -lnc		'//查看真实调度明细'
IPVS connection entries
pro expire state       source             virtual            destination
TCP 14:56  ESTABLISHED 192.168.70.1:62081 192.168.70.200:80  192.168.70.11:80
TCP 01:25  FIN_WAIT    192.168.70.1:62080 192.168.70.200:80  192.168.70.12:80

扩展

NAT与DR模式区别:
NAT模式的群集采用单一出入口,一个公网IP地址;
而DR模式的群集采用单一入口+多路出口,需要多个公网IP地址。

猜你喜欢

转载自blog.csdn.net/weixin_42449832/article/details/110873125