LVS负载均衡集群介绍（4种工作模式10种调度算法）

集群简介

计算机集群简称集群是一种计算机系统，它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点，通常通过局域网连接，但也有其它的可能连接方式。集群计算机通常用来改进单个计算机的计算速度和/或可靠性。

简单来说集群就是一组相互独立的计算机，通过高速的网络组成一个计算机系统，每个集群节点都是运行其自己进程的一个独立服务器。对网络用户来讲，网站后端就是一个单一的系统，协同起来向用户提供系统资源，系统服务。

集群的特点

1）高性能performance。一些需要很强的运算处理能力比如天气预报，核试验等。这就不是几台计算机能够搞定的。这需要上千台一起来完成这个工作的。

2）价格有效性

通常一套系统集群架构，只需要几台或数十台服务器主机即可，与动则上百王的专用超级计算机具有更高的性价比。

3）可伸缩性

当服务器负载压力增长的时候，系统能够扩展来满足需求，且不降低服务质量。

4）高可用性

尽管部分硬件和软件发生故障，整个系统的服务必须是7*24小时运行的。

集群的分类

计算机集群架构按照功能和结构一般分成以下几类：

• 负载均衡集群（Loadbalancingclusters）简称LBC

• 高可用性集群（High-availabilityclusters）简称HAC

• 高性能计算集群（High-perfomanceclusters）简称HPC

• 网格计算（Gridcomputing）

负载均衡

负载均衡集群为企业提供更为实用，性价比更高的系统架构解决方案。负载均衡集群把很多客户集中访问的请求负载压力可能尽可能平均的分摊到计算机集群中处理。客户请求负载通常包括应用程度处理负载和网络流量负载。集群中每个节点都可以承担一定的访问请求负载压力，并且可以实现访问请求在各节点之间动态分配，以实现负载均衡。

负载均衡群集：Load Balance Cluster，以提高应用系统的响应能力，尽可能处理更多的访问请求、减少延迟为目标，从而获得高并发、高负载的整体性能。

• 负载均衡集群的作用

1. 分担访问流量（负载均衡）

2. 保持业务的连续性（高可用）

负载均衡集群技术的实现

负载均衡技术类型：基于 4 层负载均衡技术和基于 7 层负载均衡技术

负载均衡实现方式：硬件负载均衡设备或者软件负载均衡

硬件负载均衡产品：F5 、深信服 、Radware

软件负载均衡产品： LVS（Linux Virtual Server）、 Haproxy、Nginx、Ats（apache traffic server）

DNS / 软硬件负载均衡的类型

1）DNS 实现负载均衡

一个域名通过 DNS 解析到多个 IP，每个 IP 对应不同的服务器实例，就完成了流量的调度，这也是 DNS 实现负载均衡是最简单的方式。

使用该方式最大的优点：实现简单，成本低，无需自己开发或维护负载均衡设备，不过存在一些缺点：服务器故障切换延迟大，升级不方便、流量调度不均衡，粒度大、流量分配策略较简单，支持的算法较少、DNS 所支持的 IP 列表有限制要求。

2）硬件负载均衡

硬件负载均衡是通过专门的硬件设备从而来实现负载均衡功能，比如：交换机、路由器就是一个负载均衡专用的网络设备。

目前典型的硬件负载均衡设备有两款：F5 和 A10。不过话说，能用上这种硬件负载均衡设备的企业都不是一般的公司，反而普通业务量级小的其他企业基本用不到。

硬件负载均衡的优点：

功能强大：支持各层级负载均衡及全面负载均衡算法；
性能强大：性能远超常见的软件负载均衡器；
稳定性高：硬件负载均衡，大规模使用肯定是严格测试过的；
安全防护：除具备负载均衡功能外，还具备防火墙、防 DDoS 攻击等安全功能；

硬件负载均衡的缺点：

价格昂贵；
可扩展性差；
调试维护麻烦；

3）软件负载均衡

Nginx ：支持 4 层 / 7 层负载均衡，支持 HTTP、E-mail 协议；
LVS ：纯 4 层负载均衡，运行在内核态，性能是软件负载均衡中最高的；
HAproxy ：是 7 层负载均衡软件，支持 7 层规则的设置，性能也不错；

软件负载均衡的优点：

简单、灵活、便宜（直接在 Linux 操作系统上安装上述所使用的软件负载均衡，部署及维护较简单，4 层 和 7 层负载均衡可根据业务进行选择也可根据业务特点，比较方便进行扩展及定制功能）；

负载均衡分类

负载均衡根据所采用的设备对象（软/硬件负载均衡），应用的OSI网络层次（网络层次上的负载均衡），及应用的地理结构（本地/全局负载均衡）等来分类。下面介绍的是根据应用的 OSI 网络层次来分类的两个负载均衡类型。
负载均衡可以大概分为以下几类：

• 二层负载均衡（mac）

  一般是用虚拟mac地址方式，外部对虚拟MAC地址请求，负载均衡接收后分配后端实际的MAC地址响应。

• 三层负载均衡（ip）

一般采用虚拟IP地址方式，外部对虚拟的ip地址请求，负载均衡接收后分配后端实际的IP地址响应。

• 四层负载均衡（tcp）

在三层负载均衡的基础上，用ip+port接收请求，再转发到对应的机器。

• 七层负载均衡（http）

根据虚拟的url或IP，主机名接收请求，再转向相应的处理服务器。

四层负载均衡（基于IP+端口的负载均衡）

实现四层负载均衡的软件有：

F5：硬件负载均衡器，功能很好，但是成本很高。
lvs：重量级的四层负载软件
nginx：轻量级的四层负载软件，带缓存功能，正则表达式较灵活
haproxy：模拟四层转发，较灵活

七层的负载均衡（基于虚拟的URL或主机IP的负载均衡)

四层负载均衡的基础上（没有四层是绝对不可能有七层的），再考虑应用层的特征，比如同一个Web服务器的负载均衡，除了根据VIP加80端口辨别是否需要处理的流量，还可根据七层的URL、浏览器类别来决定是否要进行负载均衡。
实现七层负载均衡的软件有：

• haproxy：天生负载均衡技能，全面支持七层代理，会话保持，标记，路径转移；
• nginx：只在http协议和mail协议上功能比较好，性能与haproxy差不多；
• apache：功能较差
• Mysql proxy：功能尚可。

·	四层负载均衡	七层负载均衡
基于	基于IP+Port的	基于虚拟的URL或主机IP等。
类似于	路由器	代理服务器
复杂度	低	高
性能	高；无需解析内容	中；需要算法识别 URL，Cookie 和 HTTP head 等信息
安全性	低	高
额外功能	无	会话保持，图片压缩，等

四层负载架构设计比较简单，无需解析具体的消息内容，在网络吞吐量及处理能力上会相对比较高。

而七层负载均衡的优势则体现在功能多，控制灵活强大。在具体业务架构设计时，使用七层负载或者四层负载还得根据具体的情况综合考虑。

高可用性集群

• 作用：

以提高应用系统的可靠性，尽可能的减少终端时间为目标、确保服务的连续性，达到高可用的容错效果。

高性能计算集群

• 作用：

以提高应用系统的 CPU 运算速度、扩展硬件资源和分析能力为目标、从而获得相当于大型、超级计算机的高性能计算能力。
常用集群软硬件

常用开源集群软件有：lvs，keepalived，haproxy，nginx，apache，heartbeat

常用商业集群硬件有：F5,Netscaler，Radware，A10等

LVS 介绍

LVS： 是Linux Virtual Server的简写，也就是Linux 虚拟服务器，是一个虚拟的服务器集群系统，本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。官方网站是 ：http://www.linuxvirtualserver.org LVS 实际上相当于基于 IP 地址的虚拟化应用，为基于 IP 地址和内容请求分发的负载均衡提出了高效的解决方法，现在 LVS 已经是 Linux 内核标准的一部分。

使用 LVS 可以达到的技术目标是：通过 LVS 达到的负载均衡技术和 Linux 操作系统实现一个高性能高可用的 Linux 服务器集群，具有良好的可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的性能。LVS 是一个实现负载均衡集群的开源软件项目，LVS 架构从逻辑上可分为调度层、Server 集群层和共享存储层。

为什么需要LVS

随着 Internet 的爆炸性增长以及日常生活中的日益重要的作用，Internet 上的流量速度增长服务器上的工作负载压力也迅速增加，因此服务器在短时间内将会过载，为了克服服务器的过载压力问题，有两种解决方案。

• 单服务器解决方案：

即将服务器升级到性能更高的服务器，但是当请求增加时，将很快过载，因此必须再次对其进行升级，升级过程复杂且成本高；

• 多服务器解决方案：

即在服务器集群上构建可扩展的网络服务系统。当负载增加时，可以简单地在群集中添加新服务器或更多服务器以满足不断增长的需求，而商用服务器具有最高的性能/成本比。因此，构建用于网络服务的服务器群集系统更具可伸缩性，并且更具成本效益。

LVS优缺点

• 优点

• 高并发连接：LVS基于内核网络层面工作，有超强的承载能力和并发处理能力。单台LVS负载均衡器，可支持上万并发连接。

• 稳定性强：是工作在网络4层之上仅作分发之用，这个特点也决定了它在负载均衡软件里的性能最强，稳定性最好，对内存和cpu资源消耗极低。

• 成本低廉：硬件负载均衡器少则十几万，多则几十万上百万，LVS只需一台服务器和就能免费部署使用，性价比极高。

• 配置简单：LVS配置非常简单，仅需几行命令即可完成配置，也可写成脚本进行管理。

• 支持多种算法：支持多种论调算法，可根据业务场景灵活调配进行使用

• 支持多种工作模型：可根据业务场景，使用不同的工作模式来解决生产环境请求处理问题。

• 应用范围广：因为LVS工作在4层，所以它几乎可以对所有应用做负载均衡，包括http、数据库、DNS、ftp服务等等

• 缺点是工作在4层，不支持7层规则修改，机制过于庞大，不适合小规模应用。

LVS 核心组件和专业术语

• 1.核心组件

LVS的管理工具和内核模块 ipvsadm/ipvs

1、 ipvs(ip virtual server)：LVS 是基于内核态的 netfilter 框架实现的 IPVS 功能，工作在内核态。用户配置 VIP 等相关信息并传递到 IPVS 就需要用到 ipvsadm 工具。

2、 ipvsadm：ipvsadm 是 LVS 用户态的配套工具，可以实现 VIP 和 RS 的增删改查功能，是基于 netlink 或 raw socket 方式与内核 LVS 进行通信的，如果 LVS 类比于 netfilter，那 ipvsadm 就是类似 iptables 工具的地位。

• 2.专业术语

DS： Director Server，前端负载均衡节点服务器。
RS： Real Server，后端真实服务器。
CIP： Client IP，客户端 IP 地址。
VIP： Virtual IP，负载均衡对外提供访问的 IP 地址，一般负载均衡 IP 都会通过 Virtual IP 实现高可用。
RIP： RealServer IP，负载均衡后端的真实服务器 IP 地址。
DIP： Director IP，负载均衡与后端服务器通信的 IP 地址。
CMAC： 客户端 MAC 地址，LVS 连接的路由器的 MAC 地址。
VMAC： 负载均衡 LVS 的 VIP 对应的 MAC 地址。
DMAC： 负载均衡 LVS 的 DIP 对应的 MAC 地址。
RMAC： 后端真实服务器的 RIP 地址对应的 MAC 地址。

LVS负载均衡四种工作模式

• LVS/NAT：网络地址转换模式，进站/出站的数据流量经过分发器(IP负载均衡，他修改的是IP地址) --利用三层功能
• LVS/DR ：直接路由模式，只有进站的数据流量经过分发器(数据链路层负载均衡，因为他修改的是目的mac地址)–利用二层功能mac地址
• LVS/TUN： 隧道模式，只有进站的数据流量经过分发器
• LVS/full-nat:双向转换:通过请求报文的源地址为DIP，目标为RIP来实现转发：对于响应报文而言，修改源地址为VIP，目标地址为CIP来实现转发

NAT模式（VS-NAT）

原理：就是把客户端发来的数据包的IP头的目的地址，在负载均衡器上换成其中一台RS的IP地址，并发至此RS来处理,RS处理完成后把数据交给经过负载均衡器,负载均衡器再把数据包的原IP地址改为自己的IP，将目的地址改为客户端IP地址即可｡期间,无论是进来的流量,还是出去的流量,都必须经过负载均衡器｡

优点：集群中的物理服务器可以使用任何支持TCP/IP操作系统，只有负载均衡器需要一个合法的IP地址。
缺点：扩展性有限。当服务器节点（普通PC服务器）增长过多时,负载均衡器将成为整个系统的瓶颈，因为所有的请求包和应答包的流向都经过负载均衡器。当服务器节点过多时，速度就会变慢。

直接路由(Direct routing)模式（LVS-DR）

原理：负载均衡器和RS都使用同一个IP对外服务｡但只有DR对ARP请求进行响应,所有RS对本身这个IP的ARP请求保持静默｡也就是说,网关会把对这个服务IP的请求全部定向给DR,而DR收到数据包后根据调度算法,找出对应的RS,把目的MAC地址改为RS的MAC（因为IP一致）并将请求分发给这台RS｡这时RS收到这个数据包,处理完成之后，由于IP一致，可以直接将数据返给客户，则等于直接从客户端收到这个数据包无异,处理后直接返回给客户端｡

优点：和TUN（隧道模式）一样，负载均衡器也只是分发请求，应答包通过单独的路由方法返回给客户端。与VS-TUN相比，VS-DR这种实现方式不需要隧道结构，因此可以使用大多数操作系统做为物理服务器。
缺点：（不能说缺点，只能说是不足）要求负载均衡器的网卡必须与物理网卡在一个物理段上

IP隧道(Tunnel)模式（VS-TUN）

​ 原理：互联网上的大多Internet服务的请求包很短小，而应答包通常很大。那么隧道模式就是，把客户端发来的数据包，封装一个新的IP头标记(仅目的IP)发给RS,RS收到后,先把数据包的头解开,还原数据包,处理后,直接返回给客户端,不需要再经过负载均衡器｡注意,由于RS需要对负载均衡器发过来的数据包进行还原,所以说必须支持IPTUNNEL协议｡所以,在RS的内核中,必须编译支持IPTUNNEL这个选项

​ 优点：负载均衡器只负责将请求包分发给后端节点服务器，而RS将应答包直接发给用户。所以，减少了负载均衡器的大量数据流动，负载均衡器不再是系统的瓶颈，就能处理很巨大的请求量，这种方式，一台负载均衡器能够为很多RS进行分发。而且跑在公网上就能进行不同地域的分发。
​ 缺点：隧道模式的RS节点需要合法IP，这种方式需要所有的服务器支持”IP Tunneling”(IP Encapsulation)协议，服务器可能只局限在部分Linux系统上。

FULL-NAT模式

原理:客户端对VIP发起请求，Director接过请求发现是请求后端服务。Direcrot对请求报文做full-nat，把源ip改为Dip，把目标ip转换为任意后端RS的rip，然后发往后端，rs接到请求后，进行响应，相应源ip为Rip目标ip还是DIP，又内部路由路由到Director,Director接到响应报文，进行full-nat。将源地址为VIP，目标地址改为CIP

比较

NAT 模式：只需一个公网 IP 地址，是最易用的一种负载均衡模式，安全性较好。
TUN 模式 和 DR 模式：负载能力强大、适用范围广、节点安全性较差。

工作模式	VS/NAT	VS/TUN	VS/DR
Real server（节点服务器）	Config dr gw	Tunneling	Non-arp device/tie vip
Server Network	Private	LAN/WAN	LAN
Server number（节点数量）	Low 10-20	High 100	High 100
Real server gateway	Load balance	Own router	Own router
优点	地址和端口转换	Wan环境加密数据	性能最高
缺点	效率低	需要隧道支持	不能跨域LAN

LVS8种调度算法

固定调度算法：rr，wrr，dh，sh

动态调度算法：wlc，lc，lblc，lblcr

算法	说明
RR	轮询：Round Robin，将收到的访问请求按顺序轮流分配给群集中的各节点真实服务器中，不管服务器实际的连接数和系统负载。
WRR	加权轮询：根据真实服务器的处理能力轮流分配收到的访问请求，调度器可自动查询各节点的负载情况，并动态跳转其权重，保证处理能力强的服务器承担更多的访问量。
WLC	加权最少连接：服务器节点的性能差异较大的情况下，可以为真实服务器自动调整权重，权重较高的节点将承担更大的活动连接负载。
DH	目标地址散列调度算法：该算法是根据目标 IP 地址通过散列函数将目标 IP 与服务器建立映射关系，出现服务器不可用或负载过高的情况下，发往该目标 IP 的请求会固定发给该服务器
LC	最少连接：根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数少的节点，如所有服务器节点性能都均衡，可采用这种方式更好的均衡负载。
SH	与目标地址散列调度算法类似，但它是根据源地址散列算法进行静态分配固定的服务器资源。
LBLC	基于局部性的最少连接：用于目标 IP 负载平衡，通常在高速缓存群集中使用。如服务器处于活动状态且处于负载状态，此算法通常会将发往 IP 地址的数据包定向到其服务器。如果服务器超载（其活动连接数大于其权重），并且服务器处于半负载状态，则将加权最少连接服务器分配给该 IP 地址。
LBLCR	复杂的基于局部性的最少连接：具有复杂调度算法的基于位置的最少连接也用于目标IP负载平衡，通常在高速缓存群集中使用。与 LBLC 调度有以下不同：负载平衡器维护从目标到可以为目标提供服务的一组服务器节点的映射。对目标的请求将分配给目标服务器集中的最少连接节点。如果服务器集中的所有节点都超载，则它将拾取群集中的最少连接节点，并将其添加到目标服务器群中。如果在指定时间内未修改服务器集群，则从服务器集群中删除负载最大的节点，以避免高度负载。
SED	最短延迟调度：最短的预期延迟调度算法将网络连接分配给具有最短的预期延迟的服务器。如果将请求发送到第 i 个服务器，则预期的延迟时间为（Ci +1）/ Ui，其中 Ci 是第 i 个服务器上的连接数，而 Ui 是第 i 个服务器的固定服务速率（权重） 。
NQ	永不排队调度：从不队列调度算法采用两速模型。当有空闲服务器可用时，请求会发送到空闲服务器，而不是等待快速响应的服务器。如果没有可用的空闲服务器，则请求将被发送到服务器，以使其预期延迟最小化（最短预期延迟调度算法）。