MySQL数据库——Squid缓存代理

其他 2021-11-29 23:44:58 阅读次数: 0

MySQL数据库——Squid缓存代理

前言

一、Squid代理服务器

  • Squid主要提供缓存加速、应用层过滤控制的功能。

1. 代理的工作机制

  • 代替客户机向网站请求数据，从而可以隐藏用户的真实IP地址。
  • 将获得的网页数据（静态 Web 元素）保存到缓存中并发送给客户机，以便下次请求相同的数据时快速响应。

2. 代理的类型

  • 传统代理：适用于Internet，需在客户机指定代理服务器的地址和端口。

  • 透明代理：客户机不需指定代理服务器的地址和端口，而是通过默认路由、防火墙策略将Web访问重定向给代理服务器处理。

  • 反向代理：如果 Squid 反向代理服务器中缓存了该请求的资源，则将该请求的资源直接返回给客户端；否则反向代理服务器将向后台的 WEB 服务器请求资源，然后将请求的应答返回给客户端，同时也将该应答缓存（静态）在本地，供下一个请求者使用。

3. 使用代理的好处

  • 提高Web访问速度
  • 隐藏客户机的真实IP地址

二、Squid服务编译

1. Web代理的工作机制

  • 缓存网页对象，减少重复请求

Squid是一个缓存Internet数据的一个软件，它接收用户的下载申请，并自动处理所下载的数据。也就是说，当一个用户想要下载一个主页时，它向Squid发出一个申请，要Squid替它下载，然后Squid 连接所申请网站并请求该主页，接着把该主页传给用户同时保留一个备份，当别的用户申请同样的页面时，Squid把保存的备份立即传给用户，减少了向Internet提交重复的Web请求的过程，提高了用户下载网页的速度，隐藏了客户机的真实IP

2. squid代理安装

①编译安装Squid
（1）安装依赖环境

yum -y install gcc gcc-c++ make

（2）上传软件包squid-3.5.27.tar到/opt目录下

cd /opt
tar xvf squid-3.5.27.tar.gz 

cd /
./configure 
--prefix=/usr/local/squid 
--sysconfdir=/etc 
--enable-arp-acl 
--enable-linux-netfilter 
--enable-linux-tproxy 
--enable-async-io=100 
--enable-err-language="Simplify_Chinese" 
--enable-underscore 
--enable-poll 
--enable-gnuregex

make && make install

####上述脚本解释###
./configure 
--prefix=/usr/local/squid                       ##安装目录
--sysconfdir=/etc/                              ##单独将配置文件修改到/etc目录下
--enable-arp-acl                                ##可在ACL中设置通过MAC地址进行管理，防止IP欺骗
--enable-linux-netfilter                        ##使用内核过滤
--enable-linux-tproxy                           ##支持透明模式
--enable-async-io=100                           ##异步I/O，提升储存性能，值可修改
--enable-err-language="Simplify_Chinese"      	##错误信息的显示语言
--enable-underscore                             ##允许URL中有下划线
--enable-poll                                   ##使用Poll()模式，提升性能
--enable-gnuregex                               ##使用GNU正则表达式

②创建链接文件，优化路径

ln -s /usr/local/squid/sbin/* /usr/local/sbin

③创建程序用户、组

useradd -M -s /sbin/nologin squid

④改变目录属主

chown -R squid:squid

⑤修改Squid的配置文件

#放在http_access deny all 之前，允许任意客户机使用代理服务，控制规则自上而下匹配
vim /etc/squid.conf
......
-----56行--插入------
http_access allow all
#放在http_access deny all 之前，允许任意客户机使用代理服务，控制规则自上而下匹配
http_access deny all
http_port 3128
#用来指定代理服务监听的地址和端口(默认的端口号为3128)
-----61行--插入------
cache_effective_user squid
#添加，指定程序用户，用来设置初始化、运行时缓存的账号，否则启动不成功
cache_effective_group squid
#添加，指定账号基本组
coredump_dir /usr/local/squid/var/cache/squid
#指定缓存文件目录

###上述脚本解释
##配置硬盘缓存，打开#.缓存目录512M，其中一级目录16个，二级256个
cache_effective_user squid
cache_effective_group squid

⑥检查配置文件&&重新加载配置文件&&初始化缓存目录&&启动squid服务

squid -k parse      ##检查配置文件

squid -k rec        ##重新加载配置文件

squid -zX           ##初始化缓存目录
squid               ##启动squid服务

⑦确认squid服务

netstat -anpt |grep squid     ##确认squid服务处于正常监听状态

【squid服务脚本】

[root@localhost ~]# vi /etc/init.d/squid
#!/bin/bash
#chkconfig: 35 90 25
#config: /etc/squid.conf
#pidfile: /usr/local/squid/var/run/squid.pid
#Description: Squid - Internet Object Cache

PID="/usr/local/squid/var/run/squid.pid"
CONF="/etc/squid.conf"
CMD="/usr/local/squid/sbin/squid"

case "$1" in
        start)
                netstat -utpln | grep squid &>/dev/null
                if [ $? -eq 0 ]
                        then
                                echo "Squid is running"
                else
                        $CMD
                fi
        ;;
        stop)
                $CMD -k kill &>/dev/null
                rm -rf $PID &>/dev/null
        ;;
        status)
                [ -f $PID ] &>/dev/null
                        if [ $? -eq 0 ]
                          then
                                netstat -utpln | grep squid
                        else
                                echo "Squid is not running"
                        fi
	;;
        restart)
                $0 stop &>/dev/null
                echo "正在关闭Squid..."
                $0 start &>/dev/null
                echo "正在启动Squid..."
        ;;
        reload)
                $CMD -k reconfigure
        ;;
        check)
                $CMD -k parse
        ;;
        *)
                echo "用法：{start | stop | restart | reload | check | status}"
esac

[root@localhost ~]#chmod +x /etc/init.d/squid
[root@localhost ~]#chkconfig --add squid
[root@localhost ~]#chkconfig squid on
[root@localhost squid-3.5.27]# service squid restart   ##测试正常
正在关闭Squid...
正在启动Squid...

服务器需求：
Squid 服务器 192.168.226.129 192.168.10.16
web1 服务器 192.168.226.130 192.168.10.14
web2 服务器 192.168.226.131 192.168.10.15
win10 192.168.226.160 192.168.10.100 透明192.168.100.100

3. 传统代理搭建（理论）

①squid服务器

vim /etc/squid.conf 
......
http_access allow all
http_access deny all
http_port 3128
cache_effective_user squid
cache_effective_group squid

#63行插入
cache_mem 64 MB				
#指定缓存功能所使用的内存空间大小，便于保持访问较频繁的WEB对象，容量最好为4的倍数，单位为MB，建议设为物理内存的1/4
reply_body_max_size 10 MB			
#允许用户下载的最大文件大小，以字节为单位，当下载超过指定大小的Web对象时，浏览器的报错页面中会出现“请求或访问太大”的提示默认设置0表示不进行限制
maximum_object_size 4096 KB			
#允许保存到缓存空间的最大对象大小，以KB为单位，超过大小限制的文件将不被缓存，而是直接转发给用户

service squid restart
systemctl restart squid

#修改防火墙规则
iptables -F
iptables -I INPUT -p tcp --dport 3128 -j ACCEPT

②Web1配置

systemctl stop firewalld.service
setenforce 0
yum -y install httpd
systemctl start httpd
netstat -natp | grep 80

③客户端配置（添加代理）
谷歌浏览器：
设置–》高级–》系统–》打开代理设置–》设置代理

#使用win10访问 web1 IP
#web2 服务器查看访问日志信息

#动态查看访问日志，观察来访IP
tail -f /var/log/httpd/access_log

4. 透明代理（理论）

①Squid服务器配置

cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-ens36
vim ifcfg-ens36
systemctl restart network

#60行修改添加提供内网服务的IP地址，和支持透明代理选项 transparent
vim /etc/squid.conf
......
http_access allow all
http_access deny all

http_port 192.168.100.1:3128 transparent
systemctl restart squid


echo 'net.ipv4.ip_forward = 1' >> /etc/sysctl.conf
sysctl -p

iptables -F
iptables -t nat -F
#添加防火墙规则（将来源为100网段:80/443端口的流量重定向到3128端口）
iptables -t nat -I PREROUTING -i ens37 -s 192.168.100.0/24 -p tcp --dport 80 -j REDIRECT --to 3128	
iptables -t nat -I PREROUTING -i ens37 -s 192.168.100.0/24 -p tcp --dport 443 -j REDIRECT --to 3128	
#若进行重启，则需要配置以下规则
iptables -I INPUT -p tcp --dport 3128 -j ACCEPT

②web1服务器添加一条静态路由

route add -net 192.168.100.0/24 gw 192.168.10.16

③客户端关闭代理，修改win10地址为100网段

#访问web1服务器

5. ACL访问控制

在配置文件squid.conf 中，ACL访问控制通过以下两个步骤来实现:
① 使用acl 配置项定义需要控制的条件;
② 通过http_access配置项对已定义的列表做“允许”或“拒绝”访问的控制。

①定义访问控制列表
格式：

acl 列表名称  列表类型  列表内容 

#列表名称：名称自定义，相当于给acl起个名字（有点类似于shell脚本变量名）
#列表类型：必须使用squid预定义的值，对应不同类别的控制条件
#列表内容：是要控制的具体对象，不同类型的列表所对应的内容也不一样，可以有多个值（以空格为分隔，为“或”的关系）

方法一：

vim /etc/squid.conf
.......
acl localhost src 192.168.100.10/24               #源地址为192.168.184.10
acl MYLAN src 192.168.100.0/24    				  #客户机网段
acl destinationhost dst 192.168.226.129/32        #目标地址为192.168.184.20 
acl MC20 maxconn 20                               #最大并发连接20
acl PORT port 21                                  #目标端口21
acl DMBLOCK dstdomain .qq.com                     #目标域，匹配域内所有站点
acl BURL url_regex -i ^rtsp:// ^emule://       	  #以rtsp://. emule://开头的URL，-i表示忽略大小写
acl PURL urlpath_regex -i \.mp3$ \.mp4$ \.rmvb$   #以 .mp3、.mp4、.rmvb结尾的URL路径
acl WORKTIME time MTWHF 08:30-17:30               #时间为周一-至周五8:30~17:30， "MTWHF"为每个星期的英文首字母

第一条插入：

http_access deny host

方法二：

#启动对象列表管理
mkdir /etc/squid
vim /etc/squid/dest.list
192.168.226.129      #Squid服务器IP
192.168.226.0/24     #任意需要的网段

vim /etc/squid.conf
......
acl destinationhost dst "/etc/squid/dest.list"    #调用指定文件中的列表内容
http_access deny (或allow) destinationhost      #注意，如果是拒绝列表，需要放在http_access allow all 前面

systemctl restart squid

6. Squid 日志分析

sarg（Squid Analysis Report Generator），是一款squid日志分析工具，采用HTML格式，详细列出每一位用户访问Internet的站点信息、时间占用信息、排名、连接次数、访问量等

#安装图像处理软件包
yum install -y gd gd-devel pcre-devel 

mkdir /usr/local/sarg

#将zxvf sarg-2.3.7.tar.gz压缩包上传到/opt目录下
tar zxvf sarg-2.3.7.tar.gz -C /opt/

cd /opt/sarg-2.3.7
./configure --prefix=/usr/local/sarg \
--sysconfdir=/etc/sarg \     #配置文件目录，默认是/usr/loca/etc
--enable-extraprotection       #额外安全防护

./configure --prefix=/usr/local/sarg --sysconfdir=/etc/sarg --enable-extraprotection

make && make install

vim /etc/sarg/sarg.conf
--7行--取消注释
access_log /usr/local/squid/var/logs/access.log  #指定访问日志文件
--25行--取消注释
title "Squid User Access Reports"     	#网页标题
--120行--取消注释，修改
output_dir /var/www/html/sarg      		#报告输出目录
--178行--取消注释
user_ip no           					#使用用户名显示
--184行--取消注释，修改
topuser_sort_field connect reverse     	#top排序中，指定连接次数采用降序排列，升序是normal
--190行--取消注释，修改
user_sort_field connect reverse      	#对于用户访问记录，连接次数按降序排序
--206行--取消注释，修改
exclude_hosts /usr/local/sarg/noreport  #指定不计入排序的站点列表的文件
--257行--取消注释
overwrite_report no         #同名同日期的日志是否覆盖
--289行--取消注释，修改
mail_utility mailq.postfix       #发送邮件报告命令
--434行--取消注释，修改
charset UTF-8          #指定字符集UTF-8
--518行--取消注释
weekdays 0-6          #top排行的星期周期
--525行--取消注释
hours 0-23           #top排行的时间周期
--633行--取消注释
www_document_root /var/www/html      #指定网页根目录

#添加不计入站点文件，添加的域名将不被显示在排序中
touch /usr/local/sarg/noreport

ln -s /usr/local/sarg/bin/sarg /usr/local/bin/

sarg --help   #获取帮助 

#运行
sarg     #启动一次记录

#验证
yum install httpd -y
systemctl start httpd


在squid服务器上使用浏览器访问 http://192.168.10.16/sarg，查看sarg报告网页。
date -s 
#添加计划任务，执行每天生成报告
vim /usr/local/sarg/report.sh
#/bin/bash
#Get current date
TODAY=$(date +%d/%m/%Y)
#Get one week ago today
YESTERDAY=$(date -d "1 day ago" +%d/%m/%Y)
# -o 输出到报告目录中
/usr/local/sarg/bin/sarg -l /usr/local/squid/var/logs/access.log -o /var/www/html/sarg -z -d $YESTERDAY-$TODAY &> /dev/null
exit 0

chmod +x /usr/local/sarg/report.sh 

crontab -e
0 0 * * * /usr/local/sarg/report.sh

3 3 3 */3 3

手动方式

#直接访问squid http://192.168.10.16/squid-reports周期性订划任务执行每天生成报告crontab-o输出到报告目录中
sarg -l /usr/local/squid/var/logs/access.log -o /var/www/html/sarg -z -d $(date -d "1 day ago" +%d/%m/%Y)-$(date +%d/%m/%Y)
##再次执行，产生新的报告，页面可视多了一天的日志报告记录
http://192.168.10.16/squid-reports/index.html

sarg -l /usr/local/squid/var/logs/access.log -o /var/www/html/sarg -z -d $(date -d "1 day ago" +%d/%m/%Y)-$(date +%d/%m/%Y)

7. 反向代理

如果Squid反向代理服务器中缓存了该请求的资源，则将该请求的资源直接返回给客户端;否则反向代理服务器将向后台的Web服务器请求资源，然后将请求的应答返回给客户端，同时也将该应答缓存在本地，供下一个请求者使用。

工作机制：

  • 缓存网页对象，减少重复请求
  • 将互联网请求轮询或按权重分配到内网web服务器
  • 代理用户请求，避免用户直接访问Web服务器，提高安全

开启防火墙、本地关闭HTTPD

systemctl start firewalld
systemctl stop httpd

iptables -F
iptables -t nat -F

iptables -I INPUT -p tcp --dport 3128 -j ACCEPT 

vim /etc/squid.conf
------ 60行--修改，插入-------
http_port 192.168.10.16:80 accel vhost vport
cache_peer 192.168.10.14 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web1
cache_peer 192.168.10.15 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web2
cache_peer_domain web1 web2 www.KGC.com
#表示对www.kgc.com的请求，squid向192.168.10.14和192.168.10.15的80端口发出请求

-------------------------------------------------------------------------------------
http_port 80 accel vhost vport
#squid从一个缓存变成了一个Web服务器反向代理加速模式，这个时候squid在80端口监听请求，同时和webserver的请求端口(vhost vport)绑定，这个时候请求到了squid，squid是不用转发请求的，而是直接要么从缓存中拿数据要么向绑定的端口直接请求数据。
accel :反向代理加速模式
vhost:支持域名或主机名来表示代理节点
vport :支持IP和端口来表示代理节点

parent :代表为父节点，上下关系，非平级关系
80:代理内部web服务器的80端口
0 :没有使用icp，表示就一台squid服务器
no-query :不做查询操作，直接获取数据
originserver :指定是源服务器
round-robin :指定squid 通过轮询方式将请求分发到其中一台父节点
max_conn :指定最大连接数
weight :指定 权重
name :设置别名
----------------------------------------------------------------------------------------

systemctl stop httpd
service squid reload

#后端web2节点服务器设置
yum install -y httpd
systemctl start httpd

#节点1(web1):
echo "this is test01" >> /var/www/html/index.html
#节点2(web2):
echo "this is test02" >> /var/www/html/index.html

#客户机的域名映射配置
修改C:\Windows\System32\drivers\etc\hosts 文件
192.168.10.16 www.kgc.com

#客户机的代理配置
打开浏览器，工具-->Internet选项-->连接-->局域网设置-->开启代理服务器(地址: Squid服 务器IP地址，端口: 80)

浏览器访问 http://www.kgc.com

该处使用的url网络请求的数据。

总结

squid
定位是缓存加速
缓存从后端的web服务器获取到的
加速是为了客户端访问的
squid 会有三种模式：
1、传统代理
需要客户端指向squid 代理服务器，客户端能感知到squid 代理服务器的存在
2、透明代理(常用)
客户端不需要配置，只要直接访问即可，服务端，借助了防火墙规则及静态路由的方式，完成透明代理
3、反向代理
做为类似与Nginx服务器的反向代理功能，但自身不需要一个首页，基于IP:端口，权重的方式完成反向代理

对于Squid 自身的管理/功能
ACL：主要做的是http_access（基于http协议，access访问）的允许和拒绝管理
sarg：日志分析功能，可以以天的方式指定将access_log中的内容输出到一个web页面中（借助了httpd）展示出来。

猜你喜欢

转载自blog.csdn.net/weixin_55609819/article/details/121166734
今日推荐
基于大语言模型的开源知识库问答系统 MaxKB GitHub Star 数量突破 5,000 个！
美国拟限制 AI 大模型出口中国和俄罗斯
苹果将与 OpenAI 达成协议，将 ChatGPT 应用于 iPhone
openKylin 社区生态委员会第六次会议圆满召开
阿里云正式发布通义千问 2.5
Python 3.13 发布首个 Beta：实验性自由线程模式和 JIT、改进交互式解释器
Stack Overflow 拿我的代码去训练 AI 大模型，还封了我的账号
Pop!_OS 的 COSMIC 桌面完成 App Store 上架工作
《2024 年一季度互联网投融资运行情况》研究报告
报告：Django 仍然是 74% 开发者的首选
15 年前上了“FFmpeg 耻辱柱”，今天他还得谢谢咱——腾讯QQPlayer一雪前耻？
TIOBE 5 月榜单：Fortran “复活”进入 Top 10
周排行
记一下去大梅沙的准备（2018-05-26）
Spring 注解 事务
基于HTTP协议的客户端缓存
阿里云rds 备份和还原
[PHP] 几个拖慢 PHP 程序/API 运行速度的点
python 代码风格------------PEP8规则
js控制json生成菜单——自制菜单（一）
将字符串: 'k:1|k1:2|k2:3|k3:4 ' ,处理成 python 字典: {'k':1, 'k1':2, ...}
微信小程序转支付宝小程序
Qt551.窗口滚动条
每日归档
更多
2024-05-13(18)
2024-05-12(0)
2024-05-11(38)
2024-05-10(38)
2024-05-09(35)
2024-05-08(42)
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022