LVS-NAT负载均衡

LVS简介:LVS(Linux Virtual Server)由中国的章文嵩博士开发,他就职于阿里巴巴集团。

1、抗负载能力强。抗负载能力强、性能高,能达到F5硬件的60%;对内存和cpu资源消耗比较低

2、工作在网络4层(传输层),通过vrrp协议转发(仅作分发之用),具体的流量由linux内核处理,因此没有流量的产生。

3、稳定性、可靠性好,自身有完美的热备方案;(如:LVS+Keepalived)

4、应用范围比较广,可以对所有应用做负载均衡;因为他是通过修改网络数据包中的端口号、IP地址来实现负载均衡的,跟上层应用无直接关系。

5、不支持正则处理,不能做动静分离。(只有应用层(即七层)的负载均衡才支持正则处理)

6、支持负载均衡算法:rr(轮循、轮询)、wrr(带权轮循)、lc(最小连接)、wlc(权重最小连接)

7、配置复杂,对网络依赖比较大,稳定性很高。(这里说的配置复杂是跟nginx的负载均衡来做对比)

8、LVS是通过修改数据包中的端口号、IP地址、MAC地址来实现负载均衡。


LVS的相关术语:

LVS的管理工具和内核模块 ipvsadm/ipvs

ipvsadm:用户空间的命令行工具,用于管理集群服务及集群服务上的RS等

ipvs:工作于内核上的netfilter INPUT钩子之上的程序,可根据用户定义的集群实现请求转发

DS:调度服务器,指的是前端负载均衡器节点(Directo Server)

RS:后端真实服务器(Real server)

CIP:客户端的IP地址(client IP)

VIP:虚拟IP即用户请求的目标IP地址(Virtual IP)

RIP:后端真实服务器IP地址(Real server IP)

DIP:调度服务器IP地址,即内网IP(Directo server IP)

IPVS:IP虚拟服务(IP Virtual service)


LVS-NAT的工作过程:

client(客户机) --> DS(调度服务器) --> 内核空间(首先是preruoting链收到数据,对比IP后) --> input链(核对由IP虚拟服务定义的集群信息,如果是则将目标IP改成后端服务器的IP) --> postrouting链(由IP寻址路由选择根据RIP) --> RS(后端服务器)

LVS工作图.png

解释:

1. 当用户向负载均衡调度器发起请求,调度器将请求发往至linux的内核(kernel)空间。

2. PREROUTING链首先会接收到用户请求,判断目标IP确定是本机IP,将数据包发往INPUT链。

3. IPVS(ip  virtual  service)是工作在INPUT链上的,当用户请求到达INPUT时,IPVS会将用户请求和自己已定义好的集群服务(即LVS上用ipvsadm命令定义的负载均衡列表)进行比对,如果用户请求的就是定义的集群服务,那么此时IPVS会强行修改数据包里的目标IP地址及端口,并将新的数据包发往POSTROUTING链(路由后)。

4. POSTROUTING链接收数据包后发现目标IP地址刚好是自己的后端服务器,那么此时通过选路(即路由选择),将数据包最终发送给后端的真实服务器。


实战一:LVS/NAT 实现四层负载均衡

实验环境:

将VMware调成NAT模式,准备三台服务器,一台做LVS的负载均衡器(因为LVS-server上需要设置DIP和VIP,所以需要两块网卡),另外两台为web服务器。

192.168.11.132 LVS

192.168.11.133 web1

192.168.11.134 web2

清空防火墙策略,关闭selinux

iptables -F (或者systemctl stop firewalld.service) && setenforce 0


1.更改主机名和/etc/hosts文件(选做):

hostnamectl --static set-hostname LVS

hostnamectl --static set-hostname web1

hostnamectl --static set-hostname web2

bash

cat /etc/hosts

192.168.11.132   LVS-server.com            LVS

192.168.11.133   web1.tianbin.com        web1

192.168.11.134   web2.tianbin.com        web2


1.在两台web服务器上安装httpd,并且写入不同的页面,然后启动httpd并设置开机自启,测试。

web1、2:yum -y install httpd 

web1:echo node1.com > /var/www/html/index.html

web2:echo node2.com > /var/www/html/index.html

web1、2:systemctl enable httpd --now

curl 192.168.11.133/134


2.在LVS上开启路由转发功能,并且做VIP的新网卡:

echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf

sysctl -p

#在虚拟机上添加一块新网卡,使用NAT模式。

yum -y install net-tools NetworkManager > /dev/null && systemctl start NetworkManager-dispatcher.service

nmcli connection #查看UUID,以下是查询结果。

NAME                UUID                                  TYPE      DEVICE

eth0                099d988e-ab29-492c-933f-b3f73178f144  ethernet  eth0

eth1                ae146a73-de8b-47b6-8950-0dad86471114  ethernet  eth1


route -n #查看路由信息,主要看网关信息。以下是查询结果

Kernel IP routing table

Destination     Gateway         Genmask            Flags   Metric Ref    Use Iface

0.0.0.0              192.168.11.2    0.0.0.0              UG      100       0       0 eth0

0.0.0.0              172.16.0.2        0.0.0.0              UG      101       0       0 eth1

172.16.0.0        0.0.0.0              255.255.0.0      U        101       0       0 eth1

192.168.11.0    0.0.0.0              255.255.255.0  U        100       0       0 eth0

route del default gw 192.168.11.2 #临时删除网关或者更改网卡的配置文件来删除网关。推荐改配置文件,改前先备份。

cd /etc/sysconfig/network-scripts #备份并修改网卡配置文件,如图:

cp -av ifcfg-eth0{,.bak}


eth0.bak.png        ============> eth0.png


cp -av ifcfg-eth0 ifcfg-eth1 #生成新网卡的配置文件,将网卡模式改为NAT模式,并且进行的修改如下:


eth1.png



#如上图对web1,2的网卡信息进行修改,再将的网关改为192.168.11.132。



3.在LVS上安装LVS管理软件,并且定义LVS的分发策略(轮询调度rr):

yum -y install ipvsadm #对于ipvsadm命令怎么使用,在下面有详细解释。

ipvsadm -A -t 172.16.11.132:80 -s rr

ipvsadm -a -t 172.16.11.132:80 -r 192.168.11.133 -m

ipvsadm -a -t 172.16.11.132:80 -r 192.168.11.134 -m


4.访问测试,在虚拟机外边,也就是自己电脑系统的命令提示符界面进行测试,此时需要更改虚拟网络编辑器的NAT模式的网段,否则测试不成功。




虚拟网络编辑器1.png----------->虚拟网络编辑器2.png


测试结果.png



如上图,结果表示测试成功,这只是进行LVS的轮询调度,也就是调度器通过“轮询”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上,它均等地对待每一台服务器,而不管服务器上实际的连接数和系统负载。也就是说两台相同硬件配置的服务器轮流提供服务,降低负载。


附加:关于LVS的加权算法(wrr):

 ipvsadm -C

 ipvsadm -A -t 172.16.11.132:80 -s wrr

 ipvsadm -a -t 172.16.11.132:80 -r 192.168.11.133 -m -w 2

 ipvsadm -a -t 172.16.11.132:80 -r 192.168.11.134 -m -w 3

测试如下:web1和web2的访问次数因为设置了权重值,所以访问次数比为2:3,这里访问了10次进行测试: 

测试2.png


这里介绍一下LVS的调度算法:

LVS的调度算法分为静态与动态两类。

1、静态算法(4种),只根据算法进行调度 而不考虑后端服务器的实际连接情况和负载情况

① RR:轮询调度(Round Robin)

调度器通过”轮询”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上,它均等地对待每一台服务器,而不管服务器上实际的连接数和系统负载。

② WRR:加权轮叫(Weight RR) 调度器通过“加权轮叫”调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。

③ DH:目标地址散列调度(Destination Hash )

根据请求的目标IP地址,作为散列键(HashKey)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空。

④ SH:源地址 hash(Source Hash)

源地址散列”调度算法根据请求的源IP地址,作为散列键(HashKey)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空。


2、动态算法(6种)前端的调度器会根据后端真实服务器的实际连接情况来分配请求

① LC:最少链接(Least Connections)

调度器通过”最少连接”调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能,采用”最小连接”调度算法可以较好地均衡负载。

② WLC:加权最少连接(默认采用的就是这种)(Weighted Least Connections)

在集群系统中的服务器性能差异较大的情况下,调度器采用“加权最少链接”调度算法优化负载均衡性能,具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。

③ SED:最短期望延迟调度(Shortest Expected Delay )

在WLC基础上改进,Overhead =  (ACTIVE+1)256/加权,不再考虑非活动状态,把当前处于活动状态的数目+1来实现,数目最小的,接受下次请求,+1的目的是为了考虑加权的时候,非活动连接过多缺陷:当权限过大的时候,会倒置空闲服务器一直处于无连接状态。

④ NQ:永不排队/最少队列调度(Never Queue Scheduling NQ)

无需队列。如果有台  realserver的连接数=0就直接分配过去,不需要再进行sed运算,保证不会有一个主机很空间。在SED基础上无论+几,第二次一定给下一个,保证不会有一个主机不会很空闲着,不考虑非活动连接,才用NQ,SED要考虑活动状态连接,对于DNS的UDP不需要考虑非活动连接,而httpd的处于保持状态的服务就需要考虑非活动连接给服务器的压力。

⑤ LBLC:基于局部性的最少链接(locality-Based Least Connections)  基于局部性的最少链接”调度算法是针对目标IP地址的负载均衡,目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器,若该服务器是可用的且没有超载,将请求发送到该服务器;若服务器不存在,或者该服务器超载且有服务器处于一半的工作负载,则用“最少链接”的原则选出一个可用的服务器,将请求发送到该服务器。

⑥ LBLCR:带复制的基于局部性最少连接(Locality-Based Least Connections with Replication) 带复制的基于局部性最少链接”调度算法也是针对目标IP地址的负载均衡,目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目标IP地址到一组服务器的映射,而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组,按”最小连接”原则从服务器组中选出一台服务器,若服务器没有超载,将请求发送到该服务器;若服务器超载,则按“最小连接”原则从这个集群中选出一台服务器,将该服务器加入到服务器组中,将请求发送到该服务器。同时,当该服务器组有一段时间没有被修改,将最忙的服务器从服务器组中删除,以降低复制的程度。



这里有关于ipvsadm命令的选项解释:

    -A --add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也就是增加一台新的虚拟服务器(VIP)。

    -E --edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。

    -D --delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。

    -C --clear 清除内核虚拟服务器表中的所有记录。

    -R --restore 恢复虚拟服务器规则

    -S --save 保存虚拟服务器规则,备份输出为-R 选项可读的格式

    -a --add-server 在内核虚拟服务器表的一条记录里添加一条新的真实服务器记录(RIP)。也就是在一个虚拟服务器中增加一台新的真实服务器

    -e --edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录

    -d --delete-server 删除一条虚拟服务器记录中的某条真实服务器记录

    -L|-l --list 显示内核虚拟服务器表

    -Z --zero 虚拟服务表计数器清零(清空当前的连接数量等)

    --set tcp tcpfin udp 设置连接超时值

    --start-daemon 启动同步守护进程。他后面可以是master 或backup,用来说明LVS Router 是master 或是backup。在这个功能上也可以采用keepalived 的VRRP 功能。

    --stop-daemon 停止同步守护进程

    -h --help 显示帮助信息

    -p --persistent [timeout] 持久稳固的服务(持久性连接)。这个选项的意思是来自同一个客户的多次请求,将被同一台真实的服务器处理。timeout 的默认值为360 秒。

    -t --tcp-service service-address 说明虚拟服务器提供的是tcp 的服务[vip:port] or [real-server-ip:port]

    -f --fwmark-service fwmark 说明是经过iptables 标记过的服务类型。

    -u --udp-service service-address 说明虚拟服务器提供的是udp 的服务[vip:port] or [real-server-ip:port]

    -s --scheduler scheduler 使用的调度算法,有这样几个选项 rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,默认的调度算法是: wlc.

    -M --netmask netmask     persistent granularity mask

    -r --real-server server-address 真实的服务器[Real-Server:port]

    -g --gatewaying 指定LVS 的工作模式为DR直接路由模式(也是LVS 默认的模式)

    -i --ipip 指定LVS 的工作模式为隧道模式

    -m --masquerading 指定LVS 的工作模式为NAT 模式

    -w --weight weight 真实服务器的权值

    --mcast-interface interface 指定组播的同步接口

    -c --connection 显示LVS 目前的连接 如:ipvsadm -L -c

    --timeout 显示tcp tcpfin udp 的timeout 值 如:ipvsadm -L --timeout

    --daemon 显示同步守护进程状态

    --stats 显示统计信息

    --rate 显示速率信息

    --sort 对虚拟服务器和真实服务器排序输出

    -n --numeric  输出IP地址和端口的数字形式


猜你喜欢

转载自blog.51cto.com/13860705/2398759