Nginx日志分析工具:GoAccess使用详解。

GoAccess是一个基于终端的快速日志分析器。其核心思想是实时快速分析和查看Web服务器统计信息,支持命令行及web页面输出,终端输出是默认输出,但它能够生成完整的,独立的实时 HTML报告(非常适合分析,监控和数据可视化),以及a JSON和CSV报告。

  • 所有面板和指标都定时在终端输出上每200毫秒更新一次,在HTML输出上每秒更新一次;
  • GoAccess允许任何自定义日志格式字符串。预定义选项包括Apache,Nginx,Amazon S3,Elastic Load Balancing,CloudFront等;
  • 跟踪提供请求所需的时间。如果您想跟踪减慢网站速度的网页,则非常有用;
  • 数据持久性强,GoAccess能够通过磁盘上的B + Tree数据库逐步处理日志;
  • GoAccess是用C语言编写的,要运行它,你只需要将ncurses作为依赖项,它甚至还具有自己的RFC6455兼容Web Socket服务器;
  • 您可以针对访问日志文件运行它,选择日志格式并让GoAccess解析访问日志并显示统计信息;
  • 按小时或日期确定最慢运行请求的匹配数,访问者数,带宽数和指标数;
  • 多个虚拟主机,一个面板,显示哪个虚拟主机正在消耗大部分Web服务器资源;
  • 定制GoAccess以适合您自己的色彩品味。通过终端,或者只是更新HTML输出上的样式表。

部署方案:源码安装,

1、yum安装依赖包:
yum install glib2 glib2-devel GeoIP-devel ncurses-devel zlib zlib-devel
yum install gcc -y
rpm -Uvh https://dl.Fedoraproject.org/pub/epel/epel-release-latest-6.noarch.rpm
yum -y install GeoIP-update

2、下载goaccess源码包,并解压编译安装:
wget https://tar.goaccess.io/goaccess-1.2.tar.gz
tar xzvf goaccess-1.2.tar.gz
cd goaccess-1.2/

./configure --enable-geoip --enable-utf8

make && make install

注:configure配置时,可能会报错:

configure: error: png library not found.. please install libpng

configure: error: gd library not found.. please install libgd

解决办法:

yum install libpng libpng-devel

yum -y install gd gd-devel

如果没有交叉编译器的话需要:yum  install  gcc-c++  libstdc++-devel  -y

3、修改/etc/nginx/nginx.conf文件的日志存储格式:
log_format  main  '$remote_addr - $remote_user [$time_local] requesthost:"$http_host"; "$request" requesttime:"$request_time" '
        '$status $body_bytes_sent "$http_referer" - $request_body'                      
        '"$http_user_agent" "$http_x_forwarded_for"';

4、修改文件/usr/local/etc/goaccess.conf改成goaccess格式标准对应为:
time-format %T
date-format %d/%b/%Y
log-format %h - %^ [%d:%t %^] requesthost:"%v"; "%r" requesttime:"%T"; %s %b "%R" - %^"%u"

5、后台实时生成数据到goaccess页面:
/usr/local/bin/goaccess /var/log/nginx/access.log -o /usr/share/nginx/html/index.html  --real-time-html &

6、修改nginx配置文件,

     location  /  {
          root /opt/share/nginx/html;                       #指定静态文件路径为上述goaccess生成html路径
          }

猜你喜欢

转载自www.cnblogs.com/cxq20190307/p/10716734.html