文章目录
一、LVS-DR模式简述
1.LVS-DR模式工作原理
- DR模式客户端到服务器的数据是先通过调度器,在流向各Web节点;
- Web节点到客户机的数据是通过路由器,不经过调度器;
2.LVS-DR数据包流向分析
- 1.client向目标VIP发出请求,Director(负载均衡器)接收
- 2.Director根据负载均衡算法选择RealServer_1,不修改也不封装P报文,而是将数据帧的MAC地址改为RealServer_1的MAC地址,然后在局域网上发送
- 3.RealServer_1收到这个帧,解封装后发现目标IP与本机匹配(RealServer事先绑定VIP),于是处理这个报文,随后重新封装报文,发送到局域网
- 4.Client将收到回复报文,Client认为得到正常的服务,而不会知道是哪一台服务器处理的
注:如果是跨网段,则报文通过路由器经由Internet返回给用户
3.LVS-DR中的ARP问题
1.问题
- 在局域网中具有相同的IP地址,势必会造成各服务器ARP通信的紊乱 。
- 当ARP广播发送到LVS-DR集群时,因为负载均衡器和节点服务器都是连接 到相同的网络上,它们都会接收ARP广播。
1.1 怎样解决的问题
只有前端的负载均衡器进行响应,其他节点服务器不应该响应ARP广播。
1.2 解决办法
- 对节点服务器进行处理,使其不响应针对VIP(虚拟地址)的ARP请求
- 使用虚接口lo:0承载VIP(虚拟地址)地址
- 设置内核参数arp_ignore=1,系统只响应目的IP为本地IP的ARP请求
2.新问题
- 节点服务器返回报文经路由器转发,重新封装报文时,需要先获取路由器的MAC地址
- 发送ARP请求时,Linux默认使用IP包的源IP地址(即虚拟IP)作为ARP请求包中的源IP地址,而不使用发送接口的IP地址
- 路由器收到ARP请求后,将更新ARP表项,原有的虚拟IP对应的负载均衡器MAC地址会被更新为虚拟IP对应节点服务器的MAC地址
- 路由器根据ARP表项,会将新来的请求报文发送给节点服务器,导致负载均衡器虚拟IP失效
2.1 解决办法
对节点服务器进行设置,设置内核参数arp_announce=2,系统不使用IP包的源地址来设置ARP请求的源地址,而选择发送接口的IP地址
二、LVS-DR部署过程
1.设备基本配置架构
调度服务器一台:lvs
ip:192.168.1.10(内网)
192.168.2.10(外网)
Web服务器两台:
ip:192.168.1.11(第1台)
ip:192.168.1.12(第2台)
NFS共享服务器:
ip:192.168.1.13
客户端一台:用于测试验证
ip:192.168.2.14(外网)
2.操作流程
1.在nfs存储服务器上查看软件是否安装
[root@nfs ~]# rpm -qa | grep nfs
[root@nfs ~]# rpm -qa | grep rpcbind
2.配置共享目录,创建网页
[root@nfs ~]# mkdir /web1
[root@nfs ~]# mkdir /web2
[root@nfs ~]# echo "<h1>This is Web1</h1>" > /web1/index.html
[root@nfs ~]# echo "<h1>This is Web2</h1>" > /web2/index.html
3.编辑配置
[root@nfs ~]# vi /etc/exports
添加:
目录 共享对象 权限
/web1 192.168.1.11/32(ro)
/web2 192.168.1.12/32(ro)
5.服务启动
[root@nfs ~]# systemctl start nfs #开启服务允许nginx客户机访问共享,网络文件xt
[root@nfs ~]# systemctl start rpcbind #开启跨平台,端口管理服务
[root@nfs ~]# showmount -e #查看共享情况
Export list for nfs:
/web2 (everyone)
/web1 (everyone)
注:允许给所有用户共享
在web1、web2上
1.安装httpd软件
[root@web1 ~]#yum -y install httpd
[root@web2 ~]#yum -y install httpd
2.挂载到存储服务器上
web1上
[root@web1 ~]# mount 192.168.1.13:/web1 /var/www/html/
[root@web1 ~]# df -Th
[root@web1 ~]# systemctl start httpd 使两个节点网页启动
[root@web1 ~]# curl http://localhost 测试自己的网页
web2上
[root@web2 ~]# mount 192.168.1.13:/web2 /var/www/html/
[root@web2 ~]# df -Th
[root@web2 ~]# systemctl start httpd 使两个节点网页启动
[root@web2 ~]# curl http://localhost 测试自己的网页
3.编辑配置虚拟接口地址脚本
在web1上
[root@web1 ~]# vi web1.sh
[root@web1 ~]# chmod +x web1.sh
[root@web1 ~]# ./web1.sh
[root@web1 ~]# ifconfig #查看虚拟接口
[root@web1 ~]# route -n #查看增加的路由
生成虚拟接口,地址与ens33在同一网段
添加:
#!/bin/bash
# lvs web1
ifconfig lo:0 192.168.1.200 broadcast 192.168.1.200 netmask 255.255.255.255 up
route add -host 192.168.1.200 dev lo:0 #针对lo:0x虚拟接口生成一个路由
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p &> /dev/null #配置生效并在屏幕中不显示输出
web2同上
[root@web2 ~]# vi web2.sh
[root@web2 ~]# chmod +x web2.sh
[root@web2 ~]# ./web2.sh
[root@web2 ~]# ifconfig #查看虚拟接口
[root@web2 ~]# route -n #查看增加的路由
生成虚拟接口,地址与ens33在同一网段
添加:
#!/bin/bash
# lvs web1
ifconfig lo:0 192.168.1.200 broadcast 192.168.1.200 netmask 255.255.255.255 up
route add -host 192.168.1.200 dev lo:0 #针对lo:0x虚拟接口生成一个路由
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p &> /dev/null #配置生效并在屏幕中不显示输出
在lvs调度器上
1.确定内核对LVS的支持
[root@lvs ~]# modprobe ip_vs #手动加载,对ip_vs的探测加载
[root@lvs ~]# cat /proc/net/ip_vs #查看基本信息(版本信息,虚拟地址)
IP Virtual Server version 1.2.1 (size=4096) #虚拟服务器版本信息
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
[root@lvs ~]# yum -y install ipvsadm
2.配置脚本
[root@lvs ~]# vi lvs.sh
[root@lvs ~]# chmod +x lvs.sh
[root@lvs ~]# ./lvs.sh
[root@lvs ~]# systemctl stop firewalld
[root@lvs ~]# setenforce 0
添加:
#!/bin/bash
# lvs
ifconfig ens33:0 192.168.1.200 broadcast 192.168.1.200 netmask 255.255.255.255 up
添加虚拟地址的虚接口
route add -host 192.168.1.200 dev ens33:0 添加路由
ipvsadm -C 清除内核虚拟服务器表中的所有记录
ipvsadm -A -t 192.168.1.200:80 -s rr 创建虚拟服务器
ipvsadm -a -t 192.168.1.200:80 -r 192.168.1.11:80 -g (-g:DR模式)地址捆绑虚拟地址
ipvsadm -a -t 192.168.1.200:80 -r 192.168.1.12:80 -g
ipvsadm -Ln 查看节点状态,加个“-n”将以数字形式显示地址,端口信息
测试
192.168.1.200
3.查看调度情况
[root@lvs ~]# ipvsadm -Lnc