분석은 검색 엔진처럼 아무것도 얻을 수 없다 로그, 그래서 우리는 로그는 다음과 같은 6 점은 결과에 가장 가능성이 그것을 분석하는 분석 할 수 있습니다, 그래서 우리는 테이블을 만들 수 있습니다 :
1, 가장 열을 잡아
섹션
해당 열을 봐 것은 이전과 사이트와 발표 된 순위의 섹션 후 조건의 내용을 결정하기 위해, 최고 품질, 그것은 분명 그를 최적화에 초점을 오랫동안 그 열은 같은이 열 대부분의 시간은지도에 나타나므로 최적화입니다 그는, 당신은 가장 열이 표시 잡아해야합니다
열 쉬운의 컬렉션을 나타냅니다, 그리고 그녀가 뭔가를하고 뭔가 페이지 내용을 수행하는, 그래서 같은 순위가 너무 빨리 ~ ~ 올 수 많은 거미처럼!
도 2에서, 데이터 크기 (MB)
이 밖으로 분리되어 있기 때문에 크기, 그래서 매일 다른 크기입니다
이 테이블에 기록 할 필요가있다 :
아무것도 변화가 거미의 인식해야하는 경우 데이터 파일의 크기로, 더 당신이 페이지를 크롤링 거미가 더 연결, 거미를 셀 수 있습니다.
많은 수의 데이터를하지만, 다른 데이터 대부분 쓰레기 IP왔다 있음을 나타냅니다 그대로 컷, 최대 상승하면, IP 쓰레기는 우리의 거미에 기록뿐만 아니라 대부분 악의적으로 수집 사람이 될하지 않습니다 가.
크롤링 3404 수
(404)
당신은 우리의 웹 사이트의 순위에 영향을 미칠 것입니다 있기 때문에 필요한 처리를 위해 404 웹 마스터 플랫폼을 이동 찾을 경우
우리는 다음과 같은 서버가 바이 거미인지를 통해 명령으로 서로를 판단 할 수 있습니다 :
nslookup을 127.0.0.1
이것은 분명히 검색 거미하지 않고, 잡은 경우 (404), 다음 IP의 직접 밀봉 및 (404)에 기록 번호입니다.
다음과 같이 404 수를 기록 그런 다음 우리 테이블 :
4, 거미 수가 크롤링
거미
이 loghao 122 안에서 발견 크롤링 거미의 수는, 우리가 우리 테이블에 직접 그 기록입니다 :
5 페이지의 수는 크롤링
포복
이 거미 기어의 수, 그래서 우리는 다음과 같이 그 내부에 형성 (10)를 기록 할 겁니다 :
6, 홈 크롤링의 수
홈
28 시간의 총을 통해 크롤링, 그래서 우리는 테이블에 기록 할 필요가
이 테이블 형식의 데이터는 현재와 미래의 데이터 빅 데이터 변경을 연결하는, 그것은 ~ ~에주의 할 필요가!
많은 비교를위한 데이터의 일정 기간 있도록 날의 데이터는 문제를 볼 수 없습니다, 그래서 우리는 어디에서 문제를 찾을 수 있습니다. .
개요
1、如果首页爬行次数的量 大于 页面抓取数量，那么我们就需要去给首页做 nofollow 了。
2、如果 蜘蛛抓取数量 在递增的时候，但是页面抓取数量和首页爬行次数都没涨，去抓其他东西了，那就是有问题的了，蜘蛛抓取数量 这个量如果再涨的时候 那 页面抓取数量 和 首页爬行次数 这两个量也是需要涨起来的，不管是好的还是坏的，如果没涨，只能说明蜘蛛蜘蛛无法打开我们的站点二级页面或者说蜘蛛不抓取下层页面，那很有可能说明这些页面纯在着一些问题的，使用导致他不抓。
如：
蜘蛛抓取数量是200，那么 页面抓取数量 是大于200才是正常的，如果少于200，这样只能说明蜘蛛在这个页面中的体验是不好的~~！
体验问题就需要通过代码，内容文章，页面的链接质量（不打理，内容老旧，抓=白抓）如何而决定的。一般的网站是好少会出现这样的问题的。
3、如果页面爬行数量 大于 页面抓取数量 的时候就要加 nofollow 了
4.404的数量，如果是正常的情况下是不会大于蜘蛛数量的，如果大于了，那只能说明网页上存在好多假蜘蛛或者有人恶意提交我们的404链接吸引抓取，因此我们需要去屏蔽掉这些IP。
而且可以通过工具来进行判断是否是百度蜘蛛，http://www.shenhuangji.com/tool/zhizhu.php ：
如果不是百度蜘蛛过来抓取了404，那么久需要直接封掉他，宝塔下的封IP方法如下所示：
如果是一个普通的企业站点，那分析上面这些数据足以~ ~！
5、如果那个栏目蜘蛛特别喜欢，那么我们可以给栏目页进行布局SEO关键词和布局关键词文章以及做多一个栏目导出链接，如：
比如对方网站的 SEO工具 栏目蜘蛛喜欢，那么他在右侧做多一个导出链接跨栏目到他的 随机文章 栏目中去了，这样即可产生了一个推荐的作用，蜘蛛他也会顺着链接来进行爬行过去的,因此可以提高网站收录和权重~~！
日志其实就是可以通过以上的方法来得出网站的实际情况以及应该如何玩的~ ~！