LVS负载均衡群集与LVS-NAT部署实战配置

一.什么是集群

1.集群的含义

（1）cluster，集群、群集

（2）由多台主机构成，但对外只表现为一个整体，只提供一个访问入口(域名与IP地址)，相当于一台大型计算机。

二.集群使用在那个场景

（1）用在高并发

（2）高可用，访问流量多的时候

三.集群的分类

1.负载均衡器群集

（1）提高应用系统的响应能力、尽可能处理更多的访问请求减少延迟为目标，获得高并发、高负载(LB)的整体性能

（2）LB的负载分配依赖于主节点的分流算法
（3）访问请求分担给多个服务器节点，从而缓解整个系统的负载压力。例如，“DNS轮询“代理”等。

2.高可用群集

（1）提高应用系统的可靠性，尽可能的减少中断时间为目标，确保服务的连续性，达到高可用（HA）的容错效果。

（2）HA的工作方式包括双工和主从两种模式，双工即所有节点同时在线，主从则只有主节点在线，但当出现故障时从节点能自动切换为主节点，例如“故障切换”“双机热备”等

3.高性能运算群集

（1）以提高应用系统的CPU运算速度，扩展硬件资源和分析能力为目标，获得相当于大型，超级计算机的高性能运算（HPC）能力

（2）高性能依赖于“分布式运算”“并行计算”，通过专用硬件和软件将多个服务器的CPU，内存等资源整合在一起，实现只有大型，超级计算机才具备的计算能力，例如“云计算”“网络计算”等

四.负载集群的架构

1.第一层，负载调度器

访问整个群集系统的唯一入口，对外使用所有服务器共有的vip地址，也称为群集IP地址，通常会配置主备两台调度器实现热备份，当主调度器失效以后能够平滑替换至备用调度器，确保高可用性。

2.第二层，服务器池

群集所提供的应用服务，由服务器池承担，其中每个节点具有独立的RIP地址（真实ip），只处理调度器分发过来的客户机请求，当某个节点暂时失效时，负载调度器的容错机制会将其隔离，等待错误排除以后再重新纳入服务器池

3.第三层，共享存储

为服务器池中的所以节点提供稳定，一致的文件存取服务，确保整个群集的统一性。共享存储可以使用NAS设备，或者提供NFS共享服务的专用服务器.

五.负载均衡集群的工作模式

1.地址转换 （NAT模式）

(1)类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的网关，即作为客户机的访问入口，也是各节点回应客户机的访问出口

(2)服务器节点使用私有ip地址，与负载调度器位于同一个物理网络，安全性要优于其他两种方式

2.IP隧道 （TUN模式）

(1)采用开放式的网络结构，负载调度器仅作为客户机的访问入口，各节点通过各自的Internet连接直接回应客户机，而不在经过负载调度器

(2)服务器节点分散在互联网中的不同位置，具有独立的公网ip地址，通过专用的ip隧道与负载调度器相互通信

3.直接路由 （DR模式）

(1)采用半开放式的网络结构，与TUN模式的结构累死，但各节点并不是分散在各地，而是与调度器位于同一个物理网络

(2)负载调度器与各节点服务器通过本地网络连接，不需要建立专用的ip隧道

六.LVS虚拟服务器

1.LVS概述

（1）Linux Virtual Server是针对Linux内核开发的负载均衡解决方案，由我国博士章文嵩在1998年创建，LVS实际上相当于基于IP地址的虚拟化应用，为基于IP地址和内容请求分发的负载均衡提出的一种高效的解决方法

（2）LVS现在已成为Linux内核的一部分，默认编译为ip_vs模块，必要时能够自动调用。在CentOS7系统中，以下操作可以手动加载ip_vs模块，并查看当前系统中ip_vs模块的版本信息。

（3）官方网站：http://www.linuxvirtualserver.org

2.LVS组成

（1）Lvs是基于内核态的net filter框架实现的IPVS功能，工作在内核态，用户配置VRRP

（2）ipvsadm是lvs用户态的配套工具，可以实现VID华人RS的增删改查

3.LVS作用

（1）主要用于多服务器的负载均衡

（2）工作在网络层，可实现高性能高可用的服务集群技术

（3）廉价，可把许多低性能的服务器组合在一起形成一个超级服务器

（4）易用，配置简单 有多重负载均衡的方法

（5）稳定可靠，即使在集群的服务器中某台服务器无法正常工作，也不影响整体效果

（6）可扩展性好

4.LVS和nginx比较

（1）Lvs比nginx具有更强的抗负载能力，性能高 对内存和CPu资源消耗低

（2）LVS工作在网络层，网络依懒性大，稳定性高。nginx安装配置比较简单，网络性依赖小

（3）LVS不支持正则匹配处理，无法实现动静分离效果，nginx可以实现动静分离这方面的功能

（4）LVS适用的协议范围广，nginx仅支持HTTP和HTTPS、Email协议，适用范围小

七.LVS负载调度算法

1.轮询（rr）

将收到的访问请求按照顺序轮流分配给群集中的各节点（真实服务器），均等的对待每一个服务器，而不管服务器实际的连接数和系统负载

2.加权轮询

（1）根据调度器设置的权重值分发请求，权重值高的节点优先获得任务，分配的请求数越多

（2）保证性能强的服务器承担更多的访问流量

3.最少连接

根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点

4.加权最少连接

（1）在服务器节点的性能差异较大时，可以为真实服务器自动调整权重

（2）性能较高的节点将承担更大比例的活动连接负载

八.实战部署步骤及需求

1.使用ipvsadm工具

创建虚拟服务器

添加、删除服务器节点

查看群集及节点情况

保存负载分配策略

1.1 ipvasdm工具选项

-A：添加虚拟服务器

-D：删除整个虚拟fuwq

-s：指定负载调度算法（轮询，加权轮询，最少连接，加权最少连接，wlc）

-a：表示添加真实服务器（节点服务器）

-d：删除某一个节点

-t：指定VIP地址及TCP端口

-r：指定RIP地址及TCP端口

-m：表示使用NAT群集模式

-g：表示使用DR模式

-i：表示使用TUN模式

-w：设置权重（权重为0时表示暂停节点）

-p60：表示保持长连接60秒

-l：列表查看LVS虚拟服务器（默认为查看所有）

-n：以数字形式显示地址，端口等信息，常与“-l”选项组合使用

2.NFS共享存储服务

2.1 网络文件系纺

• 依赖于RPC(远端过程调用)
• 需安装nfs-utils、rpcbind软件包
• 系统服务: nfs、rpcbind
• 共享配置文件: /etc/exports

2.2 在客户机中访问NFS共享资源

• 安装rpcbind软件包，并启动rpcbind服务
• 手动挂载NFS共享目录
• fstab自动挂载设置

3.案例环境及部署图示

LVS调度器作为Web服务器池的网关，LVS两块网卡，分别连接内外网，使用轮询 (rr) 调度算法

九.案例：LVS-NAT部署实战

Lvs负载调度器：ens33：192.168.198.14 ens37：10.0.0.1（Vmnet2）

web1节点服务器1：192.168.198.11

web2节点服务器2：192.168.198.12

NFS服务器：192.168.198.13

客户端（win10）：10.0.0.13（Vmnet 2）

注：

• win10虚拟机（客户端）网卡设置为10.0.0.1
• web服务器网关设置为 192.168.10.14

1.部署共享存储（NFS服务器：192.168.198.13）

#关闭防火墙、安全机制
systemctl stop firewalld
systemctl disable firewalld
setenforce 0

#安装nfs-utils.x86_64 rpcbind.x86_64
yum -y install nfs-utils.x86_64 rpcbind.x86_64

#开启nfs-utils.x86_64 rpcbind.x86_64
systemctl start nfs.service 
systemctl start rpcbind.service
systemctl enable nfs.service 
systemctl enable rpcbind.service

#创建共享目录、赋予权限
mkdir /opt/blue /opt/summer
chmod 777 /opt/blue/ /opt/summer/

#创建共享文件及地址
vim /etc/exports

/usr/share *(ro,sync)
/opt/blue 192.168.198.0/24(rw,sync)
/opt/summer 192.168.198.0/24(rw,sync)

#发布共享
exportfs -rv
#查看共享
showmount -e

2.配置节点服务器（后端服务器）

web1节点服务器1：192.168.198.11

web2节点服务器2：192.168.198.12

#关闭防火墙、安全机制
systemctl stop firewalld.service 
systemctl disable firewalld.service 
setenforce 0

2.1修改网卡网关为LVS服务器

#安装http
yum install -y httpd
systemctl start httpd.service 
systemctl enable httpd.service

#安装nfs-utils rpcbind
yum install -y nfs-utils rpcbind
systemctl start rpcbind.service
systemctl enable rpcbind.service

#查看共享存储
showmount -e 192.168.198.13

2.2 web1：192.168.198.11

#挂载
mount.nfs 192.168.198.13:/opt/blue /var/www/html/
#查看挂载
df -h

#写入
echo 'this is blue' > /var/www/html/index.html

#永久挂载
vim /etc/fstab
192.168.198.13:/opt/blue /var/www/html nfs defaults,_netdev 0 0
#刷新
mount -a

网卡需要将外网的服务器网关指向LVS调度器，将内网的服务器网关也指向LVS调度器，因此网关需要修改为14（14是调度器的网关地址）

systemctl restart network

2.3 web2：192.168.198.12

#挂载
mount.nfs 192.168.198.13:/opt/summer /var/www/html/
#查看挂载
df -h

#写入
echo 'this is summer' > /var/www/html/index.html

#永久挂载
vim /etc/fstab
92.168.198.13:/opt/summer /var/www/html nfs defaults,_netdev 0 0
#刷新
mount -a

网卡需要将外网的服务器网关指向LVS调度器，将内网的服务器网关也指向LVS调度器，因此网关需要修改为14（14是调度器的网关地址）

systemctl restart network

3.配置负载调度器LVS（ens33：192.168.198.14 ens37：10.0.0.1（Vmnet2）

win客户端需要修改为vmnet2

win虚拟机的地址需要手动改

#关闭防火墙和安全机制
systemctl stop firewalld.service 
systemctl disable firewalld.service 
setenforce 0

需要添加一张虚拟网卡（网络适配器）并且选择Vmnet2
198.168.198.14虚拟机

3.1配置SNAT转发规则

在配置之前可以先安装ipvsadm管理工具，防止后面更改完无法获取下载

yum install -y ipvsadm

#复制网卡、修改地址等
cp /etc/sysconfig/network-scripts/ifcfg-ens33 /etc/sysconfig/network-scripts/ifcfg-ens37
cd /etc/sysconfig/network-scripts/
vim ifcfg-ens37

vim ifcfg-ens33

systemctl restart network

如起不来可以将其中的一个UUID删掉

vim /etc/sysctl.conf
net.ipv4.ip_forward=1
#查看
sysctl -p
net.ipv4.ip_forward = 1
或者：echo '1' > /proc/sys/net/ipv4/ip_forward

#清除iptables的规则、策略
iptables -t nat -F
#查看清除后的iptables
iptables -F

iptables -t nat -nL

#配置iptables
iptables -t nat -A POSTROUTING -s 192.168.198.0/24 -o ens37 -j SNAT --to-source 10.0.0.1

iptables -nL -t nat

注：

nat表:修改数据包中的源、目标IP地址或端口
POSTROUTING: 在进行路由判断之"后"所要进行的规则(SNAT/MASQUERADE)
PREROUTING: 在进行路由判断之"前"所要进行的规则(DNAT/REDIRECT)
-A: 在规则链的末尾加入新规则
-s: 匹配来源地址IP/MASK.
-o 网卡名称匹配从这块网卡流出的数据
-i 网卡名称匹配从这块网卡流入的数据
-j 控制类型

3.2 加载LVS内核模块

#手动加载ip_vs模块
modprobe ip_vs
#查看ip_vs版本信息
cat /proc/net/ip_vs

3.3 安装ipvsadm管理工具

yum install -y ipvsadm

#注意：启动服务前必须保存负载分配策略，否则将会报错
ipvsadm-save > /etc/sysconfig/ipvsadm
或者
ipvsadm --save > /etc/sysconfig/ipvsadm
或者
touch /etc/sysconfig/ipvsadm

systemctl start ipvsadm.service

3.4 配置负载分配策略（NAT模式只要在服务器上配置，节点服务器不需要特殊配置

#清除原有策略
ipvsadm -C
ipvsadm -A -t 10.0.0.1:80 -s rr
ipvsadm -a -t 10.0.0.1:80 -r 192.168.198.11:80 -m -w 1
ipvsadm -a -t 10.0.0.1:80 -r 192.168.198.12:80 -m -w 1

-A 添加虚拟服务器
-s 指定负载调度算法 (轮询:rr、加权轮询: wrr、最少连接: lc、加权最少连接: wlc )
-a 表示添加真实服务器 (后端节点服务器)
-t 指定 VIP地址及 TCP端口
-m 表示使用 NAT群集模式.
-w 设置权重 (权重为 0 时表示暂停节点)

#启动策略
ipvsadm    
#查看节点状态，Masq代表 NAT模式
ipvsadm -ln
#保存策略
ipvsadm-save > /etc/sysconfig/ipvsadm    

测试：
在win10上使用浏览器访问10.0.0.1，刷新浏览器测试负载均衡
PS:刷新间隔时间需要稍长一点

F5刷新

3.5 停止某个节点服务器测试另一台是否可以正常工作

#删除web1服务器的节点
ipvsadm -d -t 10.0.0.1:80 -r 192.168.198.11:80

在win服务器上查看访问状况

#删除整个虚拟服务器
ipvsadm -D -t 10.0.0.1:80

无法访问

#停止服务（清除策略）
systemctl stop ipvsadm

#启动服务（重建规则）
systemctl start ipvsadm

 #恢复LVS策略
ipvsadm-restore > /etc/sysconfig/ipvsadm

访问测试：
可以正常访问

总

1.实验中遇到的问题

（1）LVS-NAT模式：简单来说，就是通过防火墙规则+LVS-ipvsadm管理工具，

• 先做内外网地址转换（映射 iptables工具）

  iptables -t nat -A POSTROUTING -s 192.168.198.0/24 -o ens37 -j SNAT --to-source 10.0.0.1

• 基于LVS-NAT模式的RR轮询策略，对于HTTP访问的请求，以轮询的方式转发给后端（使用LVS的ipvsadm工具来控制的）

  原理：先定义一个虚拟主机（外网的网卡）
  ipvsadm -A -t 10.0.0.1

  然后，再定义从这台虚拟主机的网卡进入的流量应该对应指向后端的哪个服务器池，以及以什么模式、什么权重
  PS: ipvsadm -a -t 10.0.0.1:80 -r 192.168.198.11:80 -m -w 1
  ipvsadm -a -t 10.0.0.1:80 -r 192.168.198.12:80 -m -w 1
  PS：实验时，需要将外网的服务器网关指向LVS调度器，将内网的服务器网关也指向LVS调度器（就是11和12的网关地址要指向调度器的那台地址的IP地址）

  （2）在下载安装安装ipvsadm管理工具的时候可以在添加调度器一个网络适配器之前将其安装，避免后面安装修改后无法联网不可以安装

  2.理论知识总结

  2.1 集群和什么场景使用

  集群就是将多态主机作为一个整体对外提供相同的服务

  2.2 集群分类(三种)

  • 负载均衡器主要是 减少响应延迟，提供并发处理能力强调
  • 高可用主要是系统稳定性，减少服务中断时间，减少损失
  • 高性能主要是高性能运算能力 分布式的并发

  2.3 负载均衡集群的架构

  • 用户通过VRRP进行访问
  • 负载调度器是通过调度算法，以及RIP发送
  • 节点服务池是所有服务器用的资源通过
  • 共享存储是提供网站 ，存储资源

  2.4 负载均衡集群工作模式

  • 地址转换(NAT模式)
    调度作为网关，是访问请求的入口。也是响应访问的出口，在高并发场景当中负载压力很高，NAT地址转换可以提高安全性

  • IP隧道（TUN模式）

    仅是访问请求的入口，响应数据不经过调度器，但是需要大量的公网地址IP，还需要专用的IP隧道（成本太高）数据转发受IP隧道的影响

  • 直接路由（DR模式）

    仅是访问请求的入口，响应数据不经过调度器，节点服务器和调度器在同一个物理网络中数据转发不受额外影响（因为同在公网中）

  2.5 内核态、用户态

  2.5.1 内核态、用户态概念

  • 内核态：也叫内核空间，是内核进程/线程所在的区域。主要负责运行系统、硬件交互。
  • 用户态：也叫用户空间，是用户进程/线程所在的区域。主要用于执行用户程序。

  2.5.2 内核态和用户态的区别

  • 内核态：运行的代码不受任何限制，CPU可以执行任何指令。

  • 用户态：运行的代码需要受到CPU的很多检查，不能直接访问内核数据和程序，也就是说不可以像内核态线程一样访问任何有效地址。

    操作系统在执行用户程序时，主要工作在用户态，只有在其执行没有权限完成的任务时才会切换到内核态。

  2.5.3 为什么要区分内核态和用户态

  保护机制。防止用户进程误操作或者是恶意破坏系统。内核态类似于C++的私有成员，只能在类内访问，用户态类似于公有成员，可以随意访问。

  2.5.4 用户态切换到内核态的方式

• 系统调用（主动：由于用户态无法完成某些任务，用户态会请求切换到内核态，内核态通过为用户专门开放的中断完成切换。

• 异常（被动）：在执行用户程序时出现某些不可知的异常，会从用户程序切换到内核中处理该异常的程序，也就是切换到了内核态。
  点服务器和调度器在同一个物理网络中数据转发不受额外影响（因为同在公网中）

  2.5 内核态、用户态

  2.5.1 内核态、用户态概念

  • 内核态：也叫内核空间，是内核进程/线程所在的区域。主要负责运行系统、硬件交互。
  • 用户态：也叫用户空间，是用户进程/线程所在的区域。主要用于执行用户程序。

  2.5.2 内核态和用户态的区别

  • 内核态：运行的代码不受任何限制，CPU可以执行任何指令。

  • 用户态：运行的代码需要受到CPU的很多检查，不能直接访问内核数据和程序，也就是说不可以像内核态线程一样访问任何有效地址。

    操作系统在执行用户程序时，主要工作在用户态，只有在其执行没有权限完成的任务时才会切换到内核态。

  2.5.3 为什么要区分内核态和用户态

  保护机制。防止用户进程误操作或者是恶意破坏系统。内核态类似于C++的私有成员，只能在类内访问，用户态类似于公有成员，可以随意访问。

  2.5.4 用户态切换到内核态的方式

• 系统调用（主动：由于用户态无法完成某些任务，用户态会请求切换到内核态，内核态通过为用户专门开放的中断完成切换。

• 异常（被动）：在执行用户程序时出现某些不可知的异常，会从用户程序切换到内核中处理该异常的程序，也就是切换到了内核态。

• 外围设备中断（被动）：外围设备发出中断信号，当中断发生后，当前运行的进程暂停运行，并由操作系统内核对中断进程处理，如果中断之前CPU执行的是用户态程序，就相当于从用户态向内核态的切换。