一、实验环境：
1.各软件版本：
系统版本：CentOS Linux release 7.4.1708 (Core)
php版本：PHP 7.2
nginx版本：nginx-1.12.2
数据库版本：MariaDB 10
WordPress版本：4.9.4
关闭防火墙与selinux
2.实验架构及IP分配(为模拟现实场景，所有虚拟机网卡类型均为桥接)：
架构图：上传不了...过几天再试
lvs-dr负载均衡模型相对于lvs-nat类型的优点是大大减少了调度器的负载，大幅提高了集群的并发等级，但配置步骤会稍微繁琐一点，原理也较nat类型会复杂一些
实现原理：
①：client端向目标IP(VIP)发送请求，经由路由器和交换机设备和后，此时的请求数据包头文件的目标MAC值为调度器的MAC，源MAC值为client的MAC，目标IP为VIP，源IP为CIP。
②：调度器经调度算法会选择一台RS，并将客户端请求头文件重新封装，重新封装后，目标MAC变为经调度算法选择后的RS的MAC值，源MAC为调度器的MAC值
③：RS收到调度器发来的请求并拆包处理，拆包后包头文件目标IP依然为VIP，源IP依然为CIP，因为在RS上也配置了VIP，所以RS会将请求包处理并直接响应给client，不会再经由调度器。
疑问：
为什么调度器和RS都配置VIP，client的请求只会到达调度器，而不会产生IP冲突？
client在向VIP发送请求时，会经过路由器交换机，交换机会将请求在局域网内广播出去(调度器和RS在同一局域网)，此时只要配置了VIP的主机都会响应，造成IP冲突，
要解决这个问题，就需要阻断交换机的广播送达RS，让client的请求只到达调度器，有三种办法可以实现：
①：在路由器上做ARP绑定(此方法不推荐)
②：arptables
③：修改RS内核参数(推荐此方法)
Linux默认的内核转发规则是当请求发送来时，只要是同一设备上的所有IP都会被通知并响应，所以在内核将默认规则修改即可解决上诉问题。配置过程会在后面详细介绍。
lvs负载均衡一台：
安装ipvsadm
VIP：192.168.0.99(模拟公网IP，域名www.ready.cn) DIP：192.168.0.103
realserver两台：
两台都安装nginx+PHP，且保持配置一致
RIP1：192.168.0..11 RS2：192.168.0.22
数据库服务器一台：
安装MariaDB
IP：192.168.0.33
二、所需软件安装配置，并测试PHP是否正常解析(此步骤与lvs-nat搭建相同)
1.RS1和RS2安装nginx+PHP:
a>安装epel源
rpm -Uvh https://dl.fedoraproject.org/pub/epel/7/x86_64/Packages/e/epel-release-7-11.noarch.rpm
b>yum安装nginx
yum install -y nginx
c>yum安装PHP
rpm -Uvh https://mirror.webtatic.com/yum/el7/webtatic-release.rpm
yum install -y yum install php72w-common php72w-fpm php72w-opcache php72w-gd php72w-mysqlnd php72w-mbstring php72w-pecl-redis php72w-pecl-memcached php72w-devel
d>测试两台RS是否可以正常接收并响应web请求，添加nginx server，创建网站目录，将用户请求结尾为.php的URL交给php-fpm解析，并创建phpinfo做页面测试
vim /etc/nginx/conf.d/php.conf
######
server {
listen 80;
server_name www.ready.org; #因为是做试验，所以将hosts中添加本地域名解析
location / {
root html/php; #nginx配置中网站的默认根路径为/usr/share/nginx/，这里指定的是相对路径
index index.html index.htm;
}
location ~ .*.(php|php5)?$ { #以任意开头以.php结尾的URI用此location做匹配
root html/php;
fastcgi_pass 127.0.0.1:9000; #将请求交由fastcgi(php-fpm)处理
fastcgi_index index.php;
include fastcgi.conf;
}
}
######
mkdir -p /usr/share/nginx/html/php/ #创建网站目录(不是必须步骤,也可使用默认目录)
vim /usr/share/nginx/html/php/index.php
######
<?php phpinfo(); ?>
######
e>将nginx启动并设置开机启动
systemctl start nginx
systemctl enable nginx
f>开启php-fpm并设置为开机启动
g>浏览器访问www.ready.org与www.ready.org/index.php,显示以下界面便表示nginx与PHP已安装成功。
然后删除index.php文件，安全因素。
以上步骤不涉及负载均衡的使用，下面进行加入负载均衡服务器的配置测试，先删除之前配置好的nginx测试server，或将其注释掉
mv /etc/nginx/conf.d/php.conf /etc/nginx/conf.d/php.conf.backup
若是要将RS1、RS2并入负载均衡集群，则需将RS1、RS2设置为监听本机80端口且将结尾为.php的URI交php-fpm解析
即修改/etc/nginx/nginx.conf将匹配PHP解析的location加入默认配置即可，修改如下：
vim /etc/nginx/nginx.conf
######
worker_processes 1;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
log_format main '$remote_addr - $remote_user [$time_local] "$request"
'
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log /var/log/nginx/access.log main;
sendfile on;
tcp_nopush on;
tcp_nodelay on;
keepalive_timeout 65;
types_hash_max_size 2048;
server {
listen 80;
#server_name _; #我理解的是此负载均衡集群中没有涉及域名解析，所以server_name可以省略
location / {
root /usr/share/nginx/html/php; #我觉得root路径尽量要用绝对路径，最好是写在location中，这样便于管理，方便查阅
index index.php index.html index.htm; #不要忘了加index.php，不加会导致只输入域名时返回403错误
}
location ~ .*\.(php|php5)?$ {
root /usr/share/nginx/html/php;
index index.php;
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
include fastcgi.conf;
}
}}
######
2.在192.168.0.103主机上安装ipvsadm并配置
a>安装ipvsadm
yum install -y ipvsadm
b>在网卡上添加VIP
ifconfig ens33:0 192.168.0.99 netmask 255.255.255.255 broadcast 192.168.0.99 up #掩码最好全是255
（此处是将VIP与DIP配置在同一网卡上，后续实验是否能将它们配置在不同网卡上）
c>添加ipvsadm负载均衡规则
ipvsadm -A -t 192.168.0.99:80 -s rr
ipvsadm -a -t 192.168.0.99:80 -r 192.168.0.11 -g
ipvsadm -a -t 192.168.0.99:80 -r 192.168.0.22 -g
3.在RS1，RS2上添加VIP并限制报文通告与相应规则
a>在lo(回环接口)上配置VIP
ifconfig lo:0 192.168.0.99 netmask 255.255.255.255 broadcast 192.168.0.99 up
b>添加路由表，将192.168.0.99的请求都必须经由lo:0处理，防止RS拆包后将请求响应给调度器
route add -host 192.168.0.99 dev lo:0
c>修改RS内核参数，限制报文通告与相应规则
创建脚本，批量修改内核参数，脚本如下：
#!/bin/bash
#
case $1 in
start)
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "The RS Server is Ready!"
;;
stop)
ifconfig $dev down
echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "The RS Server is Canceled!"
;;
*)
echo "Usage: $(basename $0) start|stop"
exit 1
;;
esac
此步骤主要是修改arp_ignore，arp_announce两参数，所有RS步骤相同
******
对linux主机来讲，默认情况下地址是属于内核而不是网卡的，所以默认状态下同一主机的各网卡默认都是知道其他网卡的地址数据的，
当请求到达主机某一网卡时，此主机的其他网卡也能收到通知，若地址与自己相符，也会发出响应。通过修改内核arp_ignore，arp_announce两参数可以配置通告响应限制等级
arp_ignore：限制响应级别
0：默认值，使同一主机任意网卡配置的任意地址进行响应
1：仅在请求的目的IP配置在本地主机网卡地址相同时，才给予响应
arp_announce：限制通告级别
0：默认值，把本机上的所有网卡的所有信息向本机所有接口进行通告
1：尽量避免默认情况
2：必须避免默认情况4.安装并配置MariaDB
a>在192.168.0.33上yum安装MariaDB
vim /etc/yum.repos.d/mariadb.repo
######
[mariadb]
name = MariaDB
baseurl = https://mirrors.ustc.edu.cn/mariadb/yum/10.2/centos7-amd64
gpgkey=https://mirrors.ustc.edu.cn/mariadb/yum/RPM-GPG-KEY-MariaDB
gpgcheck=1
######
yum install -y MariaDB-server
b>配置数据库
mysql_secure_installation #初始化数据库，设置root密码，匿名用户权限等
mysql -uroot -p123456 #登入数据库进行用户及库的创建与配置
GRANT ALL PRIVILEGES ON . TO 'mysql'@'%'IDENTIFIED BY '123456' WITH GRANT OPTION; #创建账户mysql，密码为123456，并允许任意IP访问此账户数据库，权限为ALL
CREATE DATABASE wordpress; #创建名为wordpress的库，安装完WordPress后会要求在数据库创建库，这里事先创建好
quit
5.安装WordPress
a>将下载好的WordPress包解压至已创建好的/usr/share/nginx/html/php目录下
b>为模拟互联网环境，将'www.ready.cn 192.168.1.99'hosts文件加入本地解析规则
c>浏览器输入www.ready.cn,按提示步骤进行操作便可安装完成