企业缓存系统varnish——搭建一个基本的varnish系统

1.什么是varnish

Varnish是一款高性能的开源HTTP加速器,挪威最大的在线报纸 Verdens Gang 使用3台Varnish代替了原来的12台Squid,性能比以前更好
之前的squid加速器(代理缓存服务器)是将从服务器要回来的资源放在自己的硬盘里,客户读取的速率很慢,代理的效率低
现在的varnish加速器(代理缓存服务器)是将从服务器要回来的资源放在自己的内存里,客户读取的速率很快,代理的效率高
1)varnish将文件或文件片段存储在内存中,使他们可以快速的被提供
2)narnish本质上是一个键/值存储,它通常使用URL作为键

varnish代理服务器的工作方式有两种

(1)仅仅作为一个代理服务器:帮客户端去问服务端要数据,要回来的数据直接给客户端自己不缓存一份,这种情况是客户的隐私信息、
热点信息、更新比较快的数据,不缓存,只代理。
(2)既代理又缓存:帮客户端去问服务端要数据,要回来的数据先给自己缓存一份,然后再发给客户端,这种情况是用于更新比较慢的数据,此时varnish既代理又缓存。

2.为什么要有varnish加速缓存代理服务器?

比如:我们国家使用微信的用户非常多,微信的服务商腾讯总部在深圳 当每个地区的用户使用微信访问腾讯服务器的资源的时候,访问量太大
对于深圳的服务器来说,会造成很大的访问压力,甚至会造成服务器瘫痪
对于每个地区的用户来数,如果都去访问腾讯的总部服务器,会造成网络拥塞,使得客户的访问很缓慢,不利于用户的使用
现在腾讯总部给每个地区都放varnish代理服务器,每个地区的微信使用用户想访问深圳资源的时候都会间接去问自己地区的varnish代理服务器要资源

如果varnish代理服务器上面没有资源,此时varnish代理服务器就会去向深圳的服务器要资源,将要回来的资源视情况而定给自己缓存一份,然后再给客户端发一份。这种情况下,varnish代理服务器的数量远远少于微信用户的数量,即使所有的varnish代理服务器同时向深圳总部的服务器要资源的时候,也不会给深圳的服务器造成很大的压力,对微信使用的客户端和深圳总部的服务端都有好处
假如代理服务器缓存了一些更新慢的数据,当客户端再次要这个数据的时候,代理服务器会直接返回给客户端,不需要再去问深圳的服务器要资源,那么这就是把varnish服务器叫做加速器的原因,加快了客户端和服务端之间的访问速率
注意:以上我是仅仅使用微信举个例子,其实所有的互联网企业使用加速器的原理是一样的

3.正向代理和反向代理

正向代理隐藏真实的客户端,反向代理隐藏真实的服务端

正向代理:
假如A同学在大众创业,但是现在的问题是:没有资金,但是他想i的一个方法是开后门,他的大学老师是马云的同学,于是他托老师去帮忙去借500万,当然最后事成了。
不过马云并不知道这钱是借给A同学,马云是借给老师的,这里的老师在这个过程中扮演了非常的关键的角色,就是代理,可以是正向代理。
王老师代替A同学办这个事,这个过程中,真正借钱的人是谁,马云并不知道

反向代理:
大家都i这样的经历:就是拨打10086,可能一个的10086客服有几个或几十个,我们永远不需要知道电话那头的是哪一个,叫什么,男的,帅气是否,只需要知道能不能得到专业的解答,此时客户不知道给你给你提供服务的是谁?
反向代理隐藏了真实的服务端,当我们访问www.baidu.com时,背后有成千上万的服务器为我们服务,但具体是那一台,不需要知道,你只需要反向代理服务器是谁就行。
w.baidu.com就是我们的反向代理器,反向代理器会将我们真实的请求转发到真实的服务器的那里,Nginx就是很好的反向代理服务器,用作负载巨均衡

3.varnish加速器的工作流程(这里我稍后会画一张图给大家)

Varnish与一般服务器软件类似,分为master(management)进程和child(worker ,主要做cache的工作)进程

master进程读入命令,进行一些初始化,然后fork并监控child进程。
child进程分配若干线程进行工作,主要包括一些管理线程和很多woker线程

针对文件缓存部分,master读入存储配置,调用合适的存储类型,然后创建/读入相应大小的缓存大文件。
接着,master初始化管理该存储空间的结构体。这些变量都是全局变量,在fork以后会被child进程所继承(包括文件描述符)。
在child进程主线程初始化过程中,将前面打开的存储大文件整个mmap到内存中
(如果超出系统的虚拟内存,mmap失败,进程会减少原来的配置mmap大小,然后继续mmap)
此时创建并初始化空闲存储结构体,挂到存储管理结构体,以待分配。
接着,真正的工作开始,Varnish的某个负责接受新HTTP连接的线程开始等待用户,如果有新的HTTP连接过来,它总负责接收,
然后叫醒某个等待中的线程,并把具体的处理过程交给它。Worker线程读入HTTP请求的URI,查找已有的object,
如果命中则直接返回并回复用户。如果没有命中,则需要将所请求的内容,从后端服务器中取过来,存到缓存中,然后再回复。
分配缓存的过程是这样的:它根据所读到object的大小,创建相应大小的缓存文件。
为了读写方便,程序会把每个object的大小变为最接近其大小的内存页面倍数。
然后从现有的空闲存储结构体中查找,找到最合适的大小的空闲存储块,分配给它。
如果空闲块没有用完,就把多余的内存另外组成一个空闲存储块,挂到管理结构体上。 如果缓存已满,就根据LRU机制,把最旧的object释放掉。
释放缓存的过程是这样的:有一个超时线程,检测缓存中所有object的生存期 如果超初设定的TTL(Time To
Live)没有被访问,就删除之,并且释放相应的结构体及存储内存 注意释放时会检查该存储内存块前面或后面的空闲内存块
如果前面或后面的空闲内存和该释放内存是连续的,就将它们合并成更大一块内存。
整个文件缓存的管理,没有考虑文件与内存的关系,实际上是将所有的object都考虑是在内存中
如果系统内存不足,系统会自动将其换到swap空间,而不需要varnish程序去控制。

4.搭建一个最基本的varnish代理缓存服务器

*(1)封装虚拟机**

先装一个7.3或者7.5版本的虚拟机,采用网络安装或者本地安装 这个之前已经学过,就不过多的赘述原因,给大家放操作步骤截图即可
装这个虚拟机的时候采用自动分区,安装的时候文件个数比较少,速度也就比较快

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
2)redhat虚拟机配置基本的信息
1)查看网卡
在这里插入图片描述
2)修改网络配置

cd etc/sysconfig/network-script
vi  ifcfg-ens3
DEVICE=ens3
BOOTPROTO=none
ONBOOT=yes
IPADDR=172.25.8.1查看自己真机的私有网段
PREFIX=24

注:这里将ens3修改为eth0
则修改配置文件
在这里插入图片描述
在这里插入图片描述

vim /boot/grub2/grub.cfg
修改第100行 后面添加net.ifname=0 ##这样以后快照的时候为eth0

3)关闭并禁用network-manager

systemctl stop network-manager
systemctl disable ntwork-manager
systemctl status NetworkManager

在这里插入图片描述
4)在真机上搭建yum源

yum install httpd -y
systemctl start httpd
mkdir /var/www/html/haha
mount 镜像(7.3/7.5) /var/www/html/haha
cd /var/www/html/haha
ls

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
5)给redhat虚拟机配置yum源(让虚拟机使用真机的网络yum源)

cd /etc/yum.repos.d/
ls
vi dvd.repo
[rhel7.3]
name=rhel7.3
baseurl=http://172.25.12.250/haha
gpgcheck=0

yum clean all
yum repolist
yum install -y vim lftp net-tools bash-*(不能tab补全的原因)
安装一些最基本的东西

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
6)本地解析 vim /etc/hosts

172.25.8.250 真机名
172.25.8.1 server1
172.25.8.2 server2
172.25.8.3 server3

在这里插入图片描述
7)关闭selinux

vim /etc/sysconfig/selinux

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
8)关闭防火墙

systemctl stop firewalled
systemclt disable firwalled

在这里插入图片描述
9)修改主机名

hostnamectl set-hostname server1

在这里插入图片描述
10)检查完之后poweroff关闭虚拟机
在这里插入图片描述
虚拟机每开启一次,就会产生日志,生成很多文件,占用内存*
3)在真机上修改redhat的内存
1)下载清理缓存的命令

在真机上面:
yum install libguestfs-tools-c-1.32.7-3.el7.x86_64 -y
cd /var/lib/libvirts/images
ls查看虚拟机母盘的名字
virt-sysprep -d generic

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
4)redhat虚拟机创建3个快照,用来做后续的做实验

qemu-img create -f qcow2 -b generic.qcow2 node1
qemu-img create -f qcow2 -b generic.qcow2 node2
qemu-img create -f qcow2 -b generic.qcow2 node3
du -sh node*查看一下三个快照的大小

在这里插入图片描述
在这里插入图片描述
5)接下来给快照node1和node2导入镜像,开始做实验
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

到这里node1和node2的ip地址、主机名、yum源已经配置好
接下来将在node1上面搭建varnish代理服务器,node2上面搭建web服务器,真机是一个客户端

6)真机上面的三个varnish安装包给node1快照
在node1上面 yum install -y 安装varnish服务
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
7)看varnish服务的一些基本配置信息

rpm -qa | grep varnish查看版本
rpm -qc varnish查看一下服务的配置文件

在这里插入图片描述
vim /etc/logrotate.d/varnish是基本的环境变量
在这里插入图片描述
在这里插入图片描述

vim /etc/varnish/varnish.params是服务的基本配置文件(稍后将端口改为80)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

vim /usr/lib/systemd/system/varnish.service是varnish服务启动脚本
里面有一些最基本的参数:允许开启的文件个数 内存锁定大小
ulimit -l查看系统的内存大小
free -m查看系统的剩余内存
sysctl -a | grep file查看系统允许开启文件的最大个数

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

vim /etc/security/limits.conf系统参数限制文件

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

现在node1上面varnish代理服务器已经搭建好
yum install -y httpd
systemctl start httpd
vim /var/www/html/index.html
www.westos.org
curl localhost可以看到web已经搭建好了

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
10)在真机上面进行测试,真机是一个客户端

真机想通过node1(varnish代理缓存服务器)访问node2(web服务器)的web资源 curl
172.25.12.1(找的是172.25.12.2的资源)
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
11)在node1上编写配置

vim /etc/varnish/defaults.cvl
写入sub vcl_deliver模块
写入两种情况:node1有缓存 node1没有缓存
systemctl restart varnish

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
12)在真机上面进行测试

curl -I 172.25.12.1

在这里插入图片描述
在这里插入图片描述
13)在node1上面varnishadm ban req.url “~” / 清除缓存
在这里插入图片描述
14)继续在真机上面测试
在这里插入图片描述
在这里插入图片描述
15)再次验证

curl -I 172.25.12.1/index.html
node1varnishadm ban req.url "~" /index.html
evince 可以打开pdf文件进行复制

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

发布了111 篇原创文章 · 获赞 0 · 访问量 2536

猜你喜欢

转载自blog.csdn.net/qq_42024433/article/details/104441500
今日推荐