LVS负载均衡——DR+Keepalived部署实战

一、LVS负载均衡—DR

1、LVS-DR数据包流向分析

  • 为方便进行原理分析,将Client与群集机器放在同一网络中,数据包流经的路线为1-2-3-4

    vip每个节点都要配置并且要相同,作为唯一入口,给均衡器

在这里插入图片描述

1、Client向目标VIP发出请求,Director(负载均衡器)接收。

此时IP包头及数据帧头信息为:

在这里插入图片描述

2、Director根据负载均衡算法选择RealServer_1,不修改也不封装IP报文,而是将数据帧的MAC地址改为RealServer_1的MAC地址,然后在局域网上发送。

IP包头及数据帧头信息如下:

在这里插入图片描述

3、RealServer_1收到这个帧,解封装后发现目标IP与本机匹配(RealServer事先绑定了VIP),于是处理这个报文。随后重新封装报文,发送到局域网。

此时IP包头及数据帧头信息为:

在这里插入图片描述

4、Client将收到恢复报文。Client认为得到正常的服务,而不会知道是哪一台服务器处理的

注意:如果跨网段,那么报文通过路由器经由Internet返回给用户

在这里插入图片描述

2、LVS-DR中的ARP问题

在这里插入图片描述

  • 在LVS-DR负载均衡集群中,负载均衡器与节点服务器都要配置相同的VIP地址

  • 在局域网中具有相同的IP地址,势必会造成各服务器ARP通信的紊乱

    • 当一个ARP广播发送到LVS-DR集群时,因为负载均衡器和节点服务器都是连接到相同的网络上的,它们都会接收到 ARP广播
    • 此时只有前端的负载均衡器进行响应, 其他节点服务器不应该响应ARP广播
  • 对节点服务器进行处理,使其 不响应针对VIP的ARP请求

    • 使用虚接口lo:0承载VIP地址
    • 设置内核参数arp_ ignore=1 (系统只响应目的IP为本地IP的ARP 请求)
  • RealServer返回报文(源IP是VIP) 经路由器转发,在重新封装报文时, 需要先获取路由器的MAC地址

  • 发送ARP请求时,Linux默认使用IP 包的源IP地址(即VIP)作为ARP请求包中的源IP地址,而不使用发送接口(例如ens33) 的IP地址

在这里插入图片描述

  • 路由器收到ARP请求后,将更新ARP表项

  • 原有的VIP对应Director的MAC地址会被更新为VIP对应 RealServer的MAC地址

在这里插入图片描述

  • 此时新来的请求报文,路由器根据ARP表项,会将该报文转发给 RealServer,从而导致Director的 VIP失效

在这里插入图片描述

  • 解决方法:

    • 对节点服务器进行处理,设置内核参数arp_announce=2(系统不使用IP包的 源地址来设置ARP请求的源地址,而选 择发送接口的IP地址)

二、Keepalived

在企业应用中,单台服务器承担应用存在单点故障的危险,在企业应用集群中,存在了至少两处单点故障危险,单点故障一旦发生,企业服务将发生中断,造成极大的危害

在这里插入图片描述

Keepalived是专为LVS和HA设计的一款健康检查工具,支持故障自动切换(Failover),支持节点健康状态检查(Health Checking)

官方网站:http://www.keepalived.org/

在这里插入图片描述

keepalived的设计目标是构建高可用的lvs负载均衡群集,可以调用ipvsadm工具来创建虚拟服务器、管理服务器池,而不仅仅用作双机热备

使用keepalived构建lvs群集更加简便易用,主要优势体现在:

  • 对lvs负载调度器实现热备切换,提高可用性

  • 对服务器池中的节点进行健康检查,自动移除失效节点,恢复后在重新加入

1、Keepalived实现原理剖析

  • Keepalived采用VRRP热备份协议实现Linux服务器的多机热备功能

  • VRRP,虚拟路由冗余协议,是针对路由器的一种备份解决方案

    • 由多台路由器组成一个热备组, 通过共用的虚拟IP地址对外提供服务
    • 每个热备组内同一时刻只有一台主路由器提供服务,其他路由器处于冗余状态
    • 若当前在线的路由器失效,则其他路由器会根据设置的优先级自动接替虚 拟IP地址,继续提供服务

在这里插入图片描述

2、Keepalived示例讲解

  • Keepalived可实现多机热备,每个热备组可有多台服务器,最常用的就是双机热备
  • 双机热备的故障切换是由虚拟IP地址的漂移来实现,适用于各种应用服务器
  • 本案例将实现基于Web服务的双机热备
    • 漂移地址: 192.168.100.10
    • 主、备服务器: 192.168.100.110、192.168.100.120
    • 提供的应用服务: Web

在这里插入图片描述

3、Keepalived master服务器配置项

Keepalived配置目录位于/etc/keepalived/

Keepalived.conf是主配置文件

globa_defs {…}区段指定全局参数

vrrp_instance实例名称{…}区段指定vrrp热备参数

注释文字以“!”符号开头

目录samples/,提供了许多配置样例作为参考

常用配置选项讲解

●router_id HA_TEST_R1:本路由器(服务器)的名称

●vrrp_instanceVl _1 :定义VRRP热备实例

●state MASTER:热备状态,MASTER表示主服务器

●interface ens33 :承载VIP地址的物理接口

●virtual_router_ id 1 :虚拟路由器的ID号,每个热备组保持id必须一致

●priority 100:优先级数值越大优先级越高

●advert_int 1:通告间隔秒数(心跳频率)

●auth_type PASS:认证类型

●auth_pass 123456:密码字串

●virtual_ jipaddress {vip}:指定漂移地址(VIP),可以有多个(多个之间中间用逗号分隔)

4、Keepalived slave服务器配置项

Keepalived备份服务器的配置与master的配置有三个选项不同

  • router_id:设为自有名称
  • state:设为BACKUP
  • prority:值低于主服务器

其他选项与master相同

5、 配置主调度器

全局配置、热备配置:首先应为主、从调度器实现热备功能,漂移地址使用LVS群集的VIP地址

Web服务器池配置:在Keepalived的热备配置基础上,添加“virtual_server VIP端口{…}”区段来配置虚拟服务器,主要包括对负载调度算法、群集工作模式、健康检查间隔、真实服务器地址等参数的设置

6、配置Web节点服务器

在DR模式的lvs集群中,除了需要调整/proc系统的ARP响应参数以外,还需要为虚拟接口lo:0配置VIP地址,并添加一条到VIP的本地路由,具体方法与LVS-DR集群一致

7、测试群集

在客户机能够通过群集的VIP地址192.168.100.10正常访问web内容

当主、从调度器任何一个失效时,web站点仍然可以访问

只要服务器池有两台及以上的真实服务器可用,就可以实现访问量的负载均衡

三、LVS-DR+Keepalived实战部署

实验:

VIP(ens33:0) 192.168.100.10
centos7-1(LVS+keepalived) 192.168.100.110
centos7-2(LVS+keepalived) 192.168.100.120
centos7-3(web1) 192.168.100.201
centos7-3(web2) 192.168.100.202

1、配置DR调度服务器

已一台为例,另一台配置相同

#安装工具: ipvsadm 和 keepalived

[root@localhost ~]# yum install keepalived ipvsadm -y

#关闭防火墙

[root@localhost init.d]# systemctl stop firewalld.service 
[root@localhost init.d]# setenforce 0

#更改配置文件并配置相应规则

[root@localhost ~]# vim /etc/sysctl.conf
#开启路由功能
net.ipv4.ip_forward=1
#proc响应关闭重定向功能,arp
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

[root@localhost ~]# sysctl -p    //生效

#配置VIP(虚拟IP)

[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-ens33 ifcfg-ens33:0
#删除原有内容,添加以下内容配置VIP
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.100.10
NETMASK=255.255.255.0

[root@localhost network-scripts]# ifup ens33:0       //开启

在这里插入图片描述
在这里插入图片描述

#编写便于service管理的脚本

[root@localhost network-scripts]# cd /etc/init.d/
[root@localhost init.d]# vim dr.sh
#!/bin/bash
GW=192.168.100.1
VIP=192.168.100.10
RIP1=192.168.100.201
RIP2=192.168.100.202
case "$1" in
start)
        /sbin/ipvsadm --save > /etc/sysconfig/ipvsadm		//保存配置
        systemctl start ipvsadm						//启动
        /sbin/ifconfig ens33:0 $VIP broadcast $VIP netmask 255.255.255.255 broadcast $VIP up				//设置ens33:0地址,广播地址,子网掩码,并开启
        /sbin/route add -host $VIP dev ens33:0			//添加路由网段信息
        /sbin/ipvsadm -A -t $VIP:80 -s rr			//定虚拟服务访问入口,指定轮询算法
        /sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g		//指定真实服务器,dr模式
        /sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
        echo "ipvsadm starting------------------[ok]"
        ;;
stop)
        /sbin/ipvsadm -C			//清空缓存
        systemctl stop ipvsadm		//关闭服务
        ifconfig ens33:0 down		//关闭接口
        route del $VIP			//删除路由信息
        echo "ipvsamd stoped--------------------[ok]"
        ;;
status)
        if [ ! -e ar/lock/subsys/ipvsadm ];then			//判断文件存在与否决定状态
        echo "ipvsadm stoped--------------------"
        exit 1
                else
                echo "ipvsamd Runing-------------[ok]"
        fi
        ;;
        *)
        echo "Usage: $0 {start|stop|status}"
        exit 1
        esac
        exit 0

#添加权限并执行脚本

[root@localhost init.d]# chmod +x dr.sh 
[root@localhost init.d]# service dr.sh start
ipvsadm starting------------------[ok]

2、节点服务器配置(Web)

为了区分验证结果,第一台与第二台web节点唯一不同的就是站点首页的内容,其他配置均一致

#关闭防火墙

[root@localhost ~]# systemctl stop firewalld.service 
[root@localhost ~]# setenforce 0

#安装apache并开启

[root@localhost ~]# yum install -y httpd
[root@localhost ~]# systemctl start httpd.service 

#添加一个站点首页便于验证

第二台web节点站点首页内容hello accp

[root@localhost ~]# cd /var/www/html
[root@localhost html]# echo "hello kgc" > index.html

#配置VIP(虚拟IP)

root@localhost html]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@localhost network-scripts]# vim ifcfg:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.100.10
NETMASK=255.255.255.0

[root@localhost network-scripts]# ifup lo:0 (启用)

#编写便于service管理的脚本

[root@localhost init.d]# cd /etc/init.d
[root@localhost init.d]# vim web.sh
#!/bin/bash
VIP=192.168.100.10
        case "$1" in
        start)
                ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
                /sbin/route add -host $VIP dev lo:0
        echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
        echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
        echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
        echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
        sysctl -p > /dev/null 2>&1
        echo "RealServer Start OK "
        ;;
        stop)
                ifconfig lo:0 down
                route del $VIP /dev/null 2>&1
                echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore
                echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce
                echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore
                echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce
    echo "RealServer Stoped"
                ;;
        *)
                echo "Usage: $0 {start|stop}"
                exit 1
        esac
        exit 0

#添加权限并执行脚本

[root@localhost init.d]# chmod +x web.sh
[root@localhost init.d]# service web.sh start

#使用客户端进行访问验证

如无法访问,回到LVS和Web节点,将脚本全部重启

在这里插入图片描述
在这里插入图片描述在这里插入图片描述

3、部署 keepalived

1)DR1配置

在这里插入图片描述在这里插入图片描述

2)DR2配置
在这里插入图片描述在这里插入图片描述

#更改后启动keepalived

[root@localhost keepalived]# systemctl start keepalived.service

四、keepalived验证

这个实验中,我们部署了 LVS 和 keepalived,为了实现负载均衡和双机热备

现在可以尝试将DR1(master)宕掉,访问页面,发现依然可以访问,说明双机热备成功了

若无法显示,可以尝试将服务器的脚本或其他服务重启

在这里插入图片描述在这里插入图片描述

发布了72 篇原创文章 · 获赞 44 · 访问量 1万+

猜你喜欢

转载自blog.csdn.net/ML908/article/details/104016567