shell脚本统计nginx日志每分钟/小时的qps,pv,简单实用附带思路和注释!

脚本思路:

先思考获取每分钟的PV,qps 该如何做?

处理较小的日志可以直接cat,因为要循环取,频繁操作日志文件,如果日志过大,会执行很慢,

所以先把我们要的东西给提出来,

cat test.log| cut -d ' ' -f4 | uniq -c | sort -n -r -o ./temp_sorted.log

上面这条命令

查看日志 |(管道符) cut以“ ”(空格)为分隔符,取出第四列  |  统计次数并且去重 | 按照数值排序,逆序,输出结果到temp_sorted.log 中

统计次数并且去重,因为我们取的是时间那一列,如果一秒访问了10次,那么日志里就会出现10行一样的,所以去重统计次数,可以查看每秒访问了多少。

temp_sorted.log日志内容如下:

既然每秒的qps我们已经拿到了,那就好说了,接下来就是求每分钟了

一小时60分钟,先求一个小时的,拿12点来算

需要循环60次,12:00-12:59   这是12点要循环的

先求每分钟的qps,

cat temp_sorted.log |grep ":12:01:"|awk '{sum += $1}END{print sum}'

上面这行代码:

查看日志文件 |  搜索出12:01分的数据 | 切割,用awk的求和来加$1(也就是每秒钟的次数),每秒钟的次数叠加在一块,加够了所有的,就得出了12:01分的qps和pv了

然后将时分写做变量,在当前代码的外层写个循环60次(一小时60分钟所以60次)就得出一小时的了

得出一小时之后,在再外层写个循环24次(一天24小时),就得出每小时的了,最后再通过一个变量,把每小时的加一块,就是每天的了,效果图如下:

这是每分钟的qps

这是每小时的qps

完整脚本内容如下:

#!/bin/bash

####获取输入
read -p "请输入日志名称: " log_name
####判断日志是否存在
if [[ -e $log_name ]];then
   echo "开始检查文件: $log_name"
else
   echo "文件不存在,请检查输入的路径."
   exit
fi
####将日志进行统计,每秒钟的请求数
cat ./$log_name | cut -d ' ' -f4 | uniq -c | sort -n -r -o ./temp_sorted.log
###定义一天的pv,初始值为0 
all_pv=0
###循环24小时,一天
for hour in `seq 0 23`
do
#定义每分钟的pv
min_all_pv=0
#判断是不是0-9,如果是需要手动加0
if (( $hour <= 9 ));then
	#循环每一分钟
	for minute in `seq 0 59`
	do
           ##判断是不是前9分钟,如果是,需要手动加0
	   if (( $minute <= 9 ));then
		###将每分钟的请求数相加
		min_sum_pv=`cat temp_sorted.log |grep ":0$hour:0$minute:"|awk '{sum += $1}END{print sum}'`
		#可以查看每分钟的请求数是多少
   		#echo "0$hour:0$minute的请求数是:   $min_sum_pv"
  	   ##不是前9分钟,不需要加0
	   else
		min_sum_pv=`cat temp_sorted.log |grep ":0$hour:$minute:"|awk '{sum += $1}END{print sum}'`
		#echo "0$hour:$minute的请求数是:   $min_sum_pv"
 	  fi
	   min_all_pv=`expr $min_sum_pv + $min_all_pv`
	done
	#输出空行,可以有效的分隔出每小时的总pv
        #echo -e "\n"
	echo "0$hour时的总请求数是: $min_all_pv"
	all_pv=`expr $min_all_pv + $all_pv`
	#echo -e "\n"
else
        for minute in `seq 0 59`
        do
           if (( $minute <= 9 ));then
                min_sum_pv=`cat temp_sorted.log |grep ":$hour:0$minute:"|awk '{sum += $1}END{print sum}'`
                #echo "$hour:0$minute的请求数是:   $min_sum_pv"
           else 
                min_sum_pv=`cat temp_sorted.log |grep ":$hour:$minute:"|awk '{sum += $1}END{print sum}'`
                #echo "$hour:$minute的请求数是:   $min_sum_pv"
          fi
           min_all_pv=`expr $min_sum_pv + $min_all_pv`
        done
        #echo -e "\n"
        echo "$hour时的总请求数是: $min_all_pv"
	all_pv=`expr $min_all_pv + $all_pv`
        #echo -e "\n"
fi
done
echo "总pv是: $all_pv"
rm -f ./temp_sorted.log

脚本是放在log目录下执行的,所以我写的是./ ,如果日志在不同的目录,把./去掉,输入的时候就输入绝对路径就行了。

猜你喜欢

转载自blog.csdn.net/wojiuwangla/article/details/107382214