史上最全.工作原理介绍,及DR模式详解,附练习题

1.集群和分布式

系统性能的拓展方式: scale (比例)

• scale UP（按比例增大）：垂直拓展，向上拓展，增强，性能更强的计算机运行同样的服务
• scale Out (向外拓展): 水平拓展,向外拓展,增加设备,并行的运行多个服务器调度分配问题,cluster

垂直拓展不再提及:

随着计算机性能的需要增加,其价格也会成倍增加

单台计算机的性能是有限的,不可能无限地垂直拓展,

多核CPU 意为着即使单台计算机也可以并行的,所以为什么一开始最好使用并行技术

1.2.集群 Cluster

Cluster 集群为了解决某个特定问题将多个计算机组合起来形成的单个计算机系统

Cluster 分为三种

• ​ LB Load Balancing .负载均衡,多个主机组成,每个主机只承担一部分访问请求
• HA High Availiablity , 高可用,避免SPOF（单点连接失败问题）
• High-performance computing，高性能 www.top500.org

1.3,分布式系统

分布式存储： Ceph，GlusterFS，FastDFS，MogileFS

分布式计算：hadoop，Spark

分布式常见应用

• 分布式应用-服务按照功能拆分，使用微服务
• 分布式静态资源--静态资源放在不同的存储集群上
• 分布式数据和存储--使用key-value缓存系统
• 分布式计算--对特殊业务使用分布式计算，比如Hadoop集群

1.4. 集群和分布式

集群：同一个业务系统，部署在多台服务器上。集群中，每一台服务器实现的功能没有差别，数据和代码都是一样的

分布式：****一个业务被拆成多个子业务，或者本身就是不同的业务****，部署在多台服务器上。分布式中，每一台服务器实现的功能是有差别的，数据和代码也是不一样的，分布式每台服务器功能加起来，才是完整的业务分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。

对于大型网站，访问用户很多，实现一个群集，在前面部署一个负载均衡服务器，后面几台服务器完成同一业务。如果有用户进行相应业务访问时，负载均衡器根据后端哪台服务器的负载情况，决定由给哪一台去完成响应，并且一台服务器垮了，其它的服务器可以顶上来。分布式的每一个节点，都完成不同的业务，如果一个节点垮了，那这个业务可能就会失败

1.4.1集群设计原则

可拓展性--集群的横向拓展能力

可用性-- 无故障时间

性能-- 访问响应的时间

容量---单位时间内的最大并发吞吐量

1.4.2集群设计实现

提升硬件资源性能—从入口防火墙到后端 web server 均使用更高性能的硬件资源

多域名—DNS 轮询A记录解析
多入口—将A记录解析到多个公网IP入口
多机房—同城+异地容灾
CDN(Content Delivery Network)—基于GSLB(Global Server Load Balance)实现全局负载均衡，如：DNS

1.4.3 业务层面

分层：安全层、负载层、静态层、动态层、(缓存层、存储层)持久化与非持久化
分割：基于功能分割大业务为小服务
分布式：对于特殊场景的业务，使用分布式计算

2 Linux Virtual Server简介

LVS：Linux Virtual Server，负载调度器，内核集成，章文嵩（花名 正明）, 阿里的四层SLB(ServerLoad Balance)是基于LVS+keepalived实现

2.1 LVS工作原理

VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS。LVS是内核级功能，工作在INPUT链的位置，将发往INPUT的流量进行“处理”

2.1 LVS 集群体系架构

2.3 LVS 功能及组织架构

负载均衡的应用场景为高访问量的业务，提高应用程序的可用性和可靠性。

2.3.1 应用于高访问量的业务

如果您的应用访问量很高，可以通过配置监听规则将流量分发到不同的云服务器 ECS（Elastic
Compute Service 弹性计算服务）实例上。此外，可以使用会话保持功能将同一客户端的请求转发到同一台后端ECS

2.3.2 扩展应用程序

可以根据业务发展的需要，随时添加和移除ECS实例来扩展应用系统的服务能力，适用于各种Web服务器和App服务器。

2.3.3 消除单点故障

可以在负载均衡实例下添加多台ECS实例。当其中一部分ECS实例发生故障后，负载均衡会自动屏蔽故障的ECS实例，将请求分发给正常运行的ECS实例，保证应用系统仍能正常工作

2.3.4 同城容灾 （多可用区容灾）

为了提供更加稳定可靠的负载均衡服务，阿里云负载均衡已在各地域部署了多可用区以实现同地域容灾。当主可用区出现机房故障或不可用时，负载均衡仍然有能力在非常短的时间内（如：大约30s中断）切换到另外一个备可用区恢复服务能力；当主可用区恢复时，负载均衡同样会自动切换到主可用区提供服务。

使用负载均衡时，您可以将负载均衡实例部署在支持多可用区的地域以实现同城容灾。此外，建议您结合自身的应用需要，综合考虑后端服务器的部署。如果您的每个可用区均至少添加了一台ECS实例，那么此种部署模式下的负载均衡服务的效率是最高的。

如下图所示，在负载均衡实例下绑定不同可用区的ECS实例。正常情况下，用户访问流量将同时转至发主、备可用区内的ECS实例；当可用区A发生故障时，用户访问流量将只转发至备可用区内的ECS实例。此种部署既可以避免因为单个可用区的故障而导致对外服务的不可用，也可以通过不同产品间可用区的选择来降低延迟。

如果采取如下图所示的部署方案，即在负载均衡实例的主可用区下绑定多台ECS实例，而在备可用区没有任何ECS实例。当主可用区发生故障时会造成业务中断，因为备可用区没有ECS实例来接收请求。这样的部署方式很明显是以牺牲高可用性为代价来获取低延时。

2.3.5跨地域容灾

您可以在不同地域下部署负载均衡实例，并分别挂载相应地域内不同可用区的ECS。上层利用云解析做智能DNS，将域名解析到不同地域的负载均衡实例服务地址下，可实现全局负载均衡。当某个地域出现不可用时，暂停对应解析即可实现所有用户访问不受影响。

2.4 LVS集群类型中的术语

VS：Virtual Server，Director Server(DS), Dispatcher(调度器)，Load Balancer
RS：Real Server(lvs), upstream server(nginx), backend server(haproxy)
CIP：Client IP
VIP：Virtual serve IP VS外网的IP 虚拟IP地址
DIP：Director IP VS内网的IP 主要用于和内部主机通讯的IP地址
RIP：Real server IP 真实IP
访问流程：CIP <--> VIP == DIP <--> RIP

3 LVS 工作模式和相关命令

3.1 LVS集群的工作模式(四种)

lvs-nat：修改请求报文的目标IP,多目标IP的DNAT Dnat 只是点对点的服务
lvs-dr：操纵封装新的MAC地址
lvs-tun：在原请求IP报文之外新加一个IP首部
lvs-fullnat：修改请求报文的源和目标IP

1,用户发送请求到

2.调度算法/重写数据包

3.处理请求

4.通过负载均衡机器做重写回复

5,然后做回复

lvs-nat：本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发
（1）RIP和DIP应在同一个IP网络，且应使用私网地址；RS的网关要指向DIP
（2）请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈
（3）支持端口映射，可修改请求报文的目标PORT
（4）VS必须是Linux系统，RS可以是任意OS系统

SRC IP 源地址

Dst IP 目标地址

Port 目标地址

3.2 !!!LVS的DR模式!!!

LVS-DR：Direct Routing，直接路由，LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变

DR模式的特点：

1. Director和各RS都配置有VIP

2. 确保前端路由器将目标IP为VIP的请求报文发往Director

   • 在前端网关做静态绑定VIP和Director的MAC地址

   • 在RS上使用arptables工具

   arptables -A IN -d $VIP -j DROP
   arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP

   • 在RS上修改内核参数以限制arp通告及应答级别

/proc/sys/net/ipv4/conf/all/arp_ignore
/proc/sys/net/ipv4/conf/all/arp_announce

3. RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director
4. RS和Director要在同一个物理网络
5. 请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client
6. 不支持端口映射（端口不能修改）
7. 无需开启 ip_forward
8. RS可使用大多数OS系统

4、实验:DR模式下vip不在同一网段上实现过程（夸网段）

4.1 实验环境准备

实验采用五台机器

• 客户端
• 路由器
• LVS 服务器
• 后端 RS１服务器
• 后端RS2 服务器

1.route主机网卡一个桥接到宿主机上，一个采用NAT模式。并开启核心转发功能。

vim /etc/sysctl.conf
#添加一下行
net.ipv4.ip_forward=1
sysctl -p

2.后端服务器RS分别安装httpd并提供一个不同主页以便测试使用。

yum install httpd -y
systemctl start httpd
echo webRS1>/var/www/html/index.html
echo webRS2>/var/www/html/index.html

3.LVS服务器安装两块网卡

4.2实验具体步骤

1.配置LVS服务器

#安装ipvsadm
yum install ipvsadm -y
#配置两块网卡的ip 分别为DIP :192.168.16.8 VIP :10.0.0.0.100/32
#启用核心转发
vim /etc/sysctl.conf
#添加一下行
net.ipv4.ip_forward=1
sysctl -p
#配置后端RS服务器 (分别再后端服务器上面关闭lo网卡 ARP应答和广播请求
#管理ARP广播请求和应答
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
#配置lo网卡差点VIP
ifconfig lo:1 10.0.0.100/32
＃使用curl命令行工具可以发现网页以1:2的权重被访问
while true; do curl 10.0.0.100;done

5.CentOS7.6 中 nfs 客户端使用 /etc/fatab 实现开机自动挂载

#创建共享文件夹
mkdir /data/nfs -pv
setfacl -m u:nobody:rwx /data/nfs
#安装nfs和rpc
yum install nfs-utils rpcbind -y
#修改配置文件
vim /etc/exports
/data/nfs       10.0.0.0/24(rw,all_squash,async)
#重读配置文件
exportfs -r
systemctl start nfs-server rpcbind
#在centos7 修改/etc/fstab 添加一下行
vim /etc/fstab
/data           10.0.0.8:/data/nfs  nfs _netdev,noexec      0 0

6.CentOS7.6 中 nfs 客户端使用 autofs 实现使用 nfs 时实时挂载

俩种方法

方法一:相对路径法

yum install autofs -y
vim /etc/auto.master
/data   /etc/data.nfs
vim /etc/data.nfs
*   10.0.0.8:/data/nfs

方法二:绝对路径法

vim /etc/auto.master
/-  /etc/nfs.auto
vim /etc/nfs.auto
/data/nfs       -ftype=nfs,noexec       10.0.0.8:/data/nfs