详解使用GoAccess分析Nginx的日志

GoAccess是什么？

GoAccess是一款开源、实时，运行在命令行终端下的web日志分析工具。该工具提供快速、多样的HTTP状态统计，可以令管理员不再纠结于统计各类数据，和繁杂的指令以及一大堆管道/正则表达式说byebye。

###功能一览

生成统计数据，带宽统计等
每个请求的时间统计
最高访问ip
请求的文件统计
请求的静态文件、图片、flash、js文件等
各HTTP状态码统计
Hosts，反向DNS，IP所在地
操作系统
浏览器/蜘蛛
引用的网站
引用的URLs
关键词组
地理位置（大陆、国家、城市）
可输出JSON或CSV
各种的颜色主题
支持大容量数据且支持大容量数据的持续分析
支持IPv6
可生成HTML报告

###开始使用

如果想从源码编译：

wget http://tar.goaccess.io/goaccess-0.8.1.tar.gz
tar -xzvf goaccess-0.8.1.tar.gz
cd goaccess-0.8.1/
./configure --enable-geoip --enable-utf8
make && make install

从软件包管理器安装：

1	# apt-get install goaccess

1	yum install goaccess

OSX

1	brew install goaccess

###用Access来分析Nginx日志

然后就可以开始使用GoAccess了。

首先，进入nginx的日志目录，如/var/log/nginx，输入如下命令让goaccess打开指定文件：

1	goaccess -f access.log

打开之后会跳出选择日志文件类型的界面：

Nginx日志是属于Combined Log Format (XLF/ELF)类型的，所以我们选择第三个。用上下光标移动，空格选中，回车确定。

进入了主界面：

键盘操作：

F1或h：帮助
F5 ：刷新主界面
q：退出程序/当前窗口/折叠当前模块
o或Enter：展开选中的模块或窗口
0-9以及Shift + 0：将选中的模块或窗口激活
k和j：模块内部移动
c：修改配色
^f和^b：模块中上下滚屏
tab shift+tab：前后切换模块
s：模块内部排序选择
/：在所有模块中搜索(支持正则)
n：找到下个匹配
g和G：跳到第一项/最后一项

####命令行下相关：

在使用goaccess命令行前，我们必须配置日志文件的解析格式，因为此处没有界面来让你选择日志格式了。

看一下日志格式：

1
2

$tail access.log
219.137.254.254 - - [12/Jul/2014:14:55:04 +0800] "GET / HTTP/1.1" 301 185 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36" "-"

如果你的日志格式和我一样，那么就不用自己折腾了。请跳过下一小段。

如果你的日志格式和我不同，那么请去http://goaccess.io/man#custom-log 看一下格式的基本规范。以我的log为例：

ip - - [日期] "请求类型" 服务器响应大小来源浏览器信息 "代理"

%h %^[%d:%^] "%r" %s %b "%R" "%u" %^

各项代表的意思可以去http://goaccess.io/man#custom-log 查看。

现在配置一下：

1	vim /etc/goaccess.conf

如果有这行：

1 2	#NCSA Combined Log Format with Virtual Host #log-format %^:%^ %h %^[%d:%^] "%r" %s %b "%R" "%u"

那就去掉下面log-format前的#吧。

如果没有，就写一行。

log-format %h %^[%d:%^] "%r" %s %b "%R" "%u" %^

找到

1 2	#Any Apache log date format #date-format %d/%b/%Y

取消掉date-format的注释。

使用GoAccess生成html报告：

1	# goaccess -f access.log -a > report.html

生成json报告：

1	goaccess -f access.log -a -d -o json > report.json

CSV:

1	goaccess -f access.log -o csv > report.csv

由于nginx会自动压缩日志，一下命令可以直接分析压缩后的日志：

1
2
3

zcat access.log.*.gz | goaccess
#或者
zcat -f access.log* | goaccess

支持各种管道：

1	sed -n '/11\/Dec\/2014/,$ p' access.log \| goaccess -a

想分析下百度/google对你网站爬了些啥内容？Easy:

1	grep -E "(google\|baidu)"access.log \| goaccess -a

嗯，辛勤的谷歌今天已经来我的网站爬了4个页面了。:)

###有哪些不足？

只支持maxmind的地理数据库。当然maxmind也有免费版本。
其他的缺点实在想不到了。因为支持管道，所以一切都那么方便.

GoAccess 的详细介绍：请点这里
GoAccess 的下载地址：请点这里

详解使用GoAccess分析Nginx的日志

猜你喜欢