原本用了Awstat 统计 。查看蜘蛛日志,好像没那么方便,就顺便弄了个shell 每隔1个小时自己运行一次
然后顺便加了etc目录的完整性校验。
#!/bin/bash # start BaiduSpider LOGPATH="/var/web/wwwadmin/log" MD5TMP="/var/web/wwwadmin/log/tmp" OMD5="/data/md5/etc.md5" APACHELOG="/var/log/apache2" TIME=$(date +%Y%m%d) FILE=$APACHELOG/access.log.$TIME mkdir -p $LOGPATH/baiduSpider/ mkdir -p $LOGPATH/php/ cd $LOGPATH/baiduSpider/ if [[ -f $TIMME.log ]] ;then rm -rf $LOGPATH/baiduSpider/$TIME.log fi cd $LOGPATH/php/ if [[ -f $TIMME.log ]] ;then rm -rf $LOGPATH/php/$TIME.log fi sleep 3 #格式处理 cat $FILE |grep "baidu" |grep -E -v "jpg|gif|png|js|css|jpeg"|awk '{print $1,$4,$5,$6,$7,$8,$9,$14,$15}' > $LOGPATH/baiduSpider/$TIME.log cat $FILE |grep ".php" |grep -E -v "jpg|gif|png|js|css|jpeg"|awk '{print $1,$4,$5,$6,$7,$8,$9,$14,$15}' > $LOGPATH/php/$TIME.log #BaiduSpider End #Start etc Md5 sleep 5 mkdir -p $LOGPATH/md5/ $LOGPATH/tmp/ cd $LOGPATH/md5/ if [[ -f $TIMME.log ]] ;then rm -rf $LOGPATH/md5/$TIME.log fi sleep 3 find /etc/ -type f -exec md5sum {} \; > $MD5TMP/$TIME.md5 diff $OMD5 $MD5TMP/$TIME.md5 > $LOGPATH/md5/$TIME.log sleep 5 exit 0 "baiduSpider.sh" 38L, 1093C
然后给个管理后台 查看 /var/web/wwwadmin/下面的log 可以了