运维项目实训—Varnish搭建CDN节点集群

其他 2018-07-20 16:09:15 阅读次数: 0

一.CDN简介

CDN（Content Delivery Network）是构建在网络之上的内容分发网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。CDN的关键技术主要有内容存储和分发技术。
CDN的基本原理是广泛采用各种缓存服务器，将这些缓存服务器分布到用户访问相对集中的地区或网络中，在用户访问网站时，利用全局负载技术将用户的访问指向距离最近的工作正常的缓存服务器上，由缓存服务器直接响应用户请求。

搭建CDN系统可以选择3种主流方案：

  • squid
  • varnish
  • Nginx+memcache

本文选用varnish搭建CND节点集群。

二、varnish简介

1.基本介绍
Varnish是高性能开源的反向代理服务器和HTTP缓存服务器，Varnish的功能与Squid服务器相似，都可以用来做HTTP缓存。
Squid是从硬盘读取缓存的数据，而Varnish把数据存放在内存中，直接从读取内存，避免了频繁在内存、磁盘中交换文件，所以Varnish要相对更高效，但也有缺点，内存中的缓存在服务器重启后会丢失
2.工作过程
<1>初始化过程
Varnish 的master进程负责启动工作，master进程读取配置文件，根据指定的空间大小来创建存储空间，创建并管理child进程。child进程来处理后续任务，它会分配一些线程来执行不同的工作，例如：接受http请求；为缓存对象分配存储空间；清除过期缓存对象；释放空间碎片整理等/
<2>http请求处理过程
有一个专门负责接收http请求的线程，一直监听请求端口，当有请求过来时，负责唤起一个工作线程来处理请求。工作线程会分析http请求的uri，知道了这个请求想要什么，就到缓存中查找是否有这个对象。如果有，就把缓存对象直接返回给用户；如果没有，会把请求转给后端服务器处理，并等待结果。工作线程从后端得到结果内容后，先把内容作为一个缓存对象保存到缓存空间（以备下次请求这个对象时快速响应），然后再把内容返回给用户。
这里写图片描述
<3>分配缓存过程
有一个对象需要缓存时，根据这个对象的大小，到空闲缓存区中查找大小最适合的空闲块，找到后就把这个对象放进去。如果这个对象没有填满这个空闲块，就把剩余的空间做为一个新的空闲块。如果空闲缓存区中没地方了，就要先删除一部分缓存来腾出地方，删除是根据最近最少使用原则。
<4>释放缓存过程
有一个线程来负责缓存的释放工作，它定期检查缓存中所有对象的生存周期，如果某个对象在指定的时间段内没有被访问，就把这个对象删除，释放其占用的缓存空间。释放空间后，检查一下临近的内存空间是否是空闲的，如果是，就整合为一个更大的空闲块，实现空间碎片的整理。

三、Varnish搭建CDN节点集群

实验环境：
三台redhat6.5版本虚拟机+一台物理机；
server1：172.25.51.1
server2：172.25.51.2
server3：172.25.51.3
Client：172.25.51.250
实验一：Varnish服务器的搭建及配置
这里写图片描述
Server1：
<1>下载并安装varnish软件包

lftp 172.25.51.250:/pub> get varnish-3.0.5-1.el6.x86_64.rpm 
lftp 172.25.51.250:/pub> get varnish-libs-3.0.5-1.el6.x86_64.rpm
[root@server1 ~]# yum install * -y

这里写图片描述
<2>修改varnish监听的端口

[root@server1 ~]# vim /etc/sysconfig/varnish
 66 VARNISH_LISTEN_PORT=80                     ##80端口

这里写图片描述
<3>修改配置文件

[root@server1 ~]# vim /etc/varnish/default.vcl   ##后端默认为server2

这里写图片描述
<4>开启服务

[root@server1 ~]# /etc/init.d/varnish start

Server2：后端服务器
下载httpd服务，编写测试页并开启httpd服务

[root@server2 ~]# vim /var/www/html/index.html

示图1：测试页内容
这里写图片描述
示图2：检测测试页
这里写图片描述
Client：客户端测试
客户端访问server1进行测试
这里写图片描述
这里写图片描述

补充：
<1>当server2的httpd服务关闭后，client可从缓存中获取apache服务，默认缓存时间为120s，120s后连接关闭，Age=0.
这里写图片描述
<2>/etc/passwd中存在varnish用户，修改安全限制文件，保证流量大时，服务正常运行
这里写图片描述

vim /etc/security/limits.conf    ##对varnish用户进行限制

这里写图片描述

实验二：查看缓存命中情况
Sever1：

[root@server1 ~]# vim /etc/varnish/default.vcl
[root@server1 ~]# /etc/init.d/varnish reload  ##重读配置文件

示图：配置文件
这里写图片描述

示图：reload重读
这里写图片描述
Client：客户端测试
示图1：第一次访问MISS未命中
这里写图片描述
示图2：后续访问HIT命中
这里写图片描述
示图3：varnish默认缓存时间120s，超过120s自动清除缓存
这里写图片描述
实验三：通过varnishadm手动清除缓存

varnishadm ban.url .*$         ##清除所有
varnishadm ban.url /index.html ##清除 index.html 页面缓存
varnishadm ban.url /admin/$    ##清除 admin 目录缓存

Server1：清除缓存
这里写图片描述
Client：客户端测试
示图1：清除缓存前
这里写图片描述
示图2：清除缓存后
这里写图片描述
实验四： 定义多个后端服务器
Server1：

[root@server1 ~]# vim /etc/varnish/default.vcl
##定义多个不同域名站点的后端服务器
backend web1 {
  .host = "172.25.51.2";
  .port = "80";
}

backend web2 {
  .host = "172.25.51.3";
  .port = "80";
}
#当访问 www.westos.org 域名时从 web1 上取数据,访问 bbs.westos.org 域名时到 web2 取数据,访问其他页面报错。
sub vcl_recv {
if (req.http.host ~ "^(www.)?westos.org") {
set req.http.host = "www.westos.org";
set req.backend = web1;
} elsif (req.http.host ~ "^bbs.westos.org") {
set req.backend = web2;
} else {error 404 "westos cache";
}
}

[root@server1 ~]# /etc/init.d/varnish reload  ##重读配置文件

示图：配置文件
这里写图片描述
Server2：
开启httpd服务，编写测试页并重启服务

[root@server2 ~]# vim /var/www/html/index.html

示图：测试页内容
这里写图片描述

Server3：
开启httpd服务，编写测试页并重启服务

[root@server3 ~]# vim /var/www/html/index.html

示图：测试页内容
这里写图片描述
物理机：域名解析

[root@foundation51 ~]# vim /etc/hosts

这里写图片描述
测试：
<1>物理机浏览器
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
<2>客户端：物理机
这里写图片描述

实验五：负载均衡及健康检查
Server1：

[root@server1 ~]# vim /etc/varnish/default.vcl
backend web1 {
  .host = "172.25.51.2";
  .port = "80";
}
backend web2 {
  .host = "172.25.51.3";
  .port = "80";
}
## 把多个后端聚合为一个组,并检测后端健康状况
director lb round-robin {
{       .backend = web1;        }
{       .backend = web2;        }
}
##根据不同的访问域名，分发至不同的后端主机组
sub vcl_recv {
if (req.http.host ~ "^(www.)?westos.org") {  
set req.http.host = "www.westos.org";
set req.backend = lb; ##访问www.XX时，分发至后端轮询组
return (pass);        ##为测试方便，不进行缓存
} elsif (req.http.host ~ "^bbs.westos.org") {
set req.backend = web2;
} else {error 404 "westos cache";
}
}
[root@server1 ~]# /etc/init.d/varnish reload

示图：配置文件
这里写图片描述

Server2：
编辑轮询测试页面

[root@server2 ~]# vim /var/www/html/index.html 
[root@server2 ~]# /etc/init.d/httpd restart

示图：测试页内容
这里写图片描述

Server3：设定为虚拟主机
<1>设置虚拟主机

[root@server3 ~]# vim /etc/httpd/conf/httpd.conf 
[root@server3 ~]# /etc/init.d/httpd restart

示图：配置文件
这里写图片描述
这里写图片描述
<2>虚拟主机—轮询测试页

[root@server3 ~]# mkdir /www
[root@server3 ~]# cd /www/
[root@server3 www]# vim index.html

示图：测试页内容
这里写图片描述
<3>为方便本机测试虚拟主机，做域名解析

[root@server3 ~]# vim /etc/hosts

这里写图片描述
示图：本机测试结果
这里写图片描述

Client：物理机
测试1：负载均衡
<1>浏览器测试页面轮询
这里写图片描述
这里写图片描述
<2>shell测试轮询
这里写图片描述
测试2：
当Server2的httpd服务停止时，即

[root@server2 ~]# /etc/init.d/httpd stop

物理机测试：
这里写图片描述

补充：
若注释掉Server1中配置文件的return (pass);，需要手动清理缓存。
如下：
Server1：
<1>注释

[root@server1 ~]# vim /etc/varnish/default.vcl
[root@server1 ~]# /etc/init.d/varnish reload

示图：注释return (pass);
这里写图片描述
<2>手动清空缓存

[root@server1 ~]# varnishadm ban.url /index.html

这里写图片描述
物理机：server1中手动清理缓存一次，轮询一次
这里写图片描述

实验六：CDN推送平台的搭建
Server1：
<1>安装httpd服务

[root@server1 ~]# yum install httpd -y

<2>修改httpd服务的监听端口为8080，因为端口80已经被varnish占用

[root@server1 ~]# vim /etc/httpd/conf/httpd.conf

示图：端口修改为8080
这里写图片描述
<3>下载软件

lftp 172.25.51.250:/pub> get bansys.zip 
[root@server1 ~]# yum install unzip -y     ##为解压准备
[root@server1 ~]# unzip bansys.zip

这里写图片描述
<4>将解压后的文件放入apache默认发布目录
这里写图片描述
<5>安装php服务

[root@server1 html]# yum install php -y

<6>修改配置文件

[root@server1 html]# vim config.php    ##删除或注释数据库部分内容

这里写图片描述
<7>开启httpd服务

[root@server1 html]# /etc/init.d/httpd start

<8>物理机浏览器访问
这里写图片描述
bansys 有两种工作模式：telnet 模式和 http 模式。
1. telnet 模式需要关闭 varnish服务管理端口的验证,注释掉/etc/sysconfig/varnish 文件中的 “ -S ${VARNISH_SECRET_FILE}”这行,重启 varnish 服务即可。
2. http 模式需要对 varnish 做以下设置：

[root@server1 ~]# vim /etc/varnish/default.vcl
acl westos {                     ##定义可访问来源ip
"127.0.0.1";
"172.25.51.0"/24;                ##网段
}

backend web1 {
  .host = "172.25.20.2";
  .port = "80";
}

backend web2 {
  .host = "172.25.20.3";
  .port = "80";
}

director lb round-robin {
{       .backend = web1;        }
{       .backend = web2;        }
}


sub vcl_recv {

if (req.request == "BAN") {
if (!client.ip ~ westos) {
error 405 "Not allowed.";
}
ban("req.url ~ " + req.url);
error 200 "ban added";
}

if (req.http.host ~ "^(www.)?westos.org") {
set req.http.host = "www.westos.org";
set req.backend = lb;
} elsif (req.http.host ~ "^bbs.westos.org") {
set req.backend = web2;
} else {error 404 "westos cache";
}
}

sub vcl_deliver {
if (obj.hits > 0) {
set resp.http.X-Cache = "HIT from westos cache";
}
else {
set resp.http.X-Cache = "MISS from westos cache";
}
return (deliver);
}
[root@server1 html]# /etc/init.d/varnish reload  ##重新加载服务

示图：配置文件
这里写图片描述
物理机测试：
<1>访问172.25.27.1：8080界面,推送内容/index.html
这里写图片描述
<2>提交推送内容
这里写图片描述
<3>刷新www.westos.org/index.html，查看推送消息
这里写图片描述
这里写图片描述

猜你喜欢

转载自blog.csdn.net/hannah_zh/article/details/80788307
今日推荐
openKylin 社区生态委员会第六次会议圆满召开
阿里云正式发布通义千问 2.5
Python 3.13 发布首个 Beta：实验性自由线程模式和 JIT、改进交互式解释器
Stack Overflow 拿我的代码去训练 AI 大模型，还封了我的账号
Pop!_OS 的 COSMIC 桌面完成 App Store 上架工作
报告：Django 仍然是 74% 开发者的首选
《2024 年一季度互联网投融资运行情况》研究报告
15 年前上了“FFmpeg 耻辱柱”，今天他还得谢谢咱——腾讯QQPlayer一雪前耻？
TIOBE 5 月榜单：Fortran “复活”进入 Top 10
GCC 14.1 发布
面壁智能发布 Eurux-8x22B 开源大模型 —— 堪称「理科状元」
开源日报 | 谷歌扶持鸿蒙上位；开源Rabbit R1；Docker加持的安卓手机；微软的焦虑和野心；海尔电器把开放平台关了
周排行
计算机组成与设计（七）—— 除法器
Integer Approximation(分治+枚举)
大话数据库索引
windows10系统JDK的配置及下载地址
mysql实现秒值转换中原六仔平台搭建
Codeforces Round #556 (Div. 1)
百练1064 网线主管
Codeforces 995F Cowmpany Cowmpensation
子集生成之增量构造法，位向量法，二进制法
ERROR: cmd.exe failed with args /c "/APK\gradle\rungradle.bat...
每日归档
更多
2024-05-10(38)
2024-05-09(35)
2024-05-08(42)
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)
2024-05-03(19)
2024-05-02(0)
2024-05-01(4)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022