一、cd指令：用于确定日志文件所在的文件夹。
如日志在d盘：
|
1
|
cd d: 或 cd /cygdrive/d/
|
如日志在d盘weblog文件夹，那使用指令：
|
1
|
cd /cygdrive/d/weblog/
|
返回上级目录：
|
1
|
cd ..
|
返回底层目录：
|
1
|
cd ~
|
注：cygwin的默认文件夹是cygwin安装文件中home/administrator文件夹，可以通过指令来修改默认文件夹，具体指令请上网搜索。
二、ls指令：显示目前文件夹中所有文件
比如当前路径是在/d/weblog/
|
1
|
ls -a, –all /d/weblog
|
就可以显示出/d/weblog/中所有文件。
三、cat指令：连接文件
当几个日志需要连接融合时，需要用到cat指令，cat的全称是concatenate，为连接之意，如我想看4月份的日志情况，需要用到ex120401.log, ex120402.log, ex120403.log…等日志文件，我可以使用下列指令：
|
1
|
cat ex12*.log > april.log
|
那么4月的所有日志文件就会合为april这一个文件了。
注：
1、ex12*.log中的*号为通配符，可代表所有字母或数字。
2、cat ex12*.log> april.log后面的“> april.log”代表把日志文件导出为一个名为april.log的文件，如果没有“april.log”，那所有的数据只会在编辑器中出现，并不导出。
四、grep指令：提取文件中的部分数据
|
1
|
grep A B.log >C.log
|
其中A是要在文件中提取的数据，比如要提取百度蜘蛛数据，那这里就是Baiduspider；B.log指的是要提取的目标文件，比如上面的april.log；C.log是提取出的数据要导出的文件，比如要把数据导出为baidu.log，那这里就应该为baidu.log。下面是一个例子，要提取april.log文件中百度蜘蛛数据，并导出为aprilbaidu.log，指令为：
|
1
|
grep Baiduspider april.log >aprilbaidu.log
|
注：
1、grep的提取是找到相应的数据，并把整行数据都提取出来。
2、大小写不能搞错。
5月17日补充：
|
1
|
grep -v：排除指令
|
grep -v排除不需要的数据，跟grep用法正好相反。
五、awk指令：分割相应的列数据
|
1
|
2012
-
04
-
29
00
:
03
:
03
GET /ask/m140.html -
80
-
220.181
.
108.100
HTTP/
1.1
Mozilla/
5.0
+(compatible;+Baiduspider/
2.0
;++http:
//www.baidu.com/search/spider.html) - - www.mengtiankong.com 200 0 0 5149 327 15
|
以上是百度蜘蛛抓取小站的日志情况，根据中间的空格可以分为19列（根据日志设置各有不同），awk可以单独提取出其中的某一列，比如要单独提取出其中的时间和URL：
|
1
|
awk ‘{print $
2
,$
4
}’ aprilbaidu.log > url.log
|
其中的$2,$4是所对应的列数，aprilbaidu.log是要分割的文件，url.log是相应数据的导出文件。
六、sort指令：排序
这个就是简单的排序，如果本来是按照原来的顺序，“1，2，9，5，1，2，6，4”，那么使用sort之后将是“1，1，2，2，4，5，6，9”。
另外，sort –nr 按照降序排列。
七、uniq指令：对数据进行汇总
这个只用uniq –c，表示周围数据排序整理，比如经过sort排序后是这样的
|
1
2
3
4
5
6
7
|
/ask1/
/ask1/
/ask1/
/ask2/
|
那么使用uniq –c后会变为这种：
|
1
2
3
|
3
/ask1/
1
/ask2/
|
注：由于uniq –c只能对周围数据排序整理，所以需要先对数据sort排序处理。
八、|符号的使用
|符号表示把后面的指令用在前面的文件上，比如
|
1
|
cat ex*.log |grep Baiduspider >baidu.log
|
标题将所有ex开头的log文件融合，然后提取出其中包含Baiduspider的部分。
九、常用shell指令汇总
1、把百度蜘蛛数据提取出来
|
1
|
grep Baiduspider ex*.log >baidu.log
|
2、调取不重复抓取URL数据，并按照降序排列
|
1
|
awk ‘{print $
7
}’ baidu.log |sort|uniq –c|sort –nr>zhuaqu.log
|
3、调取爬虫IP，并按照降序排列
|
1
|
awk ‘{print $
11
}’ baidu.log |sort|uniq –c|sort –nr>zhuaqu.log
|
4、调取返回码，并按照降序排列
|
1
|
awk ‘{print $
17
}’ baidu.log |sort|uniq –c|sort –nr>zhuaqu.log
|