一：Robots协议
Robots 协议也称作爬虫协议、机器人协议，它的全名叫作网络爬虫排除标准（ Robots Exclusion
Protocol ），用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取。它通常是一个叫作robots .txt
的文本文件，一般放在网站的根目录下。
当搜索’爬虫访问一个站点时，它首先会检查这个站点根目录下是否存在rob ots.txt 文件，如果存在，
搜索爬虫会根据其中定义的爬取范围来爬取。如果没有找到这个文件，搜索爬虫便会访问所有可直接
访问的页面。
下面我们看一个robots.txt 的样例：
User-agent: *
Disallow: /
Allow: /public/这实现了对所有搜索爬虫只允许爬取public 目录的功能，将上述内容保存成ro b ots.tx t 文件，放在网站的根目录下，和网站的人口文件（比如index.php 、index.html 和index.jsp 等）放在一起。
上面的User-agent 描述了搜索’爬虫的名称，这里将其设置为＊则代表该协议对任何爬取爬虫有效。
比如，我们可以设置：
User-agent: Baiduspider
这就代表我们设置的规则对百度爬虫是有效的。如果有多条User-agent 记录，则就会有多个爬虫
会受到爬取限制，但至少需要指定一条。
Disallow 指定了不允许抓取的目录，比如上例子中设置为／则代表不允许抓取所有页面。
Allow 一般和Disallow 一起使用，一般不会单独使用，用来排除某些限制。现在我们设置为
/public ／，则表示所有页面不允许抓取，但可以抓取public 目录。
二：robotparser
了解Robots 协议之后，我们就可以使用ro bot parser 模块来解析robots.txt 了。该模块提供了一个
类RobotFileParser ，它可以根据某网站的robots.txt 文件来判断一个爬取爬虫是否有权限来爬取这个
网页。
该类用起来非常简单，只需要在构造方法里传人robots.txt 的链接即可。首先看一下它的声明：
urllib.robotparser.RobotFileParser(url =’ ’)
当然，也可以在声明时不传人，默认为空，最后再使用set_url （）方法设置一下也可。
下面列刷了这个类常用的几个方法。
口set_url （）： 用来设置ro bots . txt 文件的链接。如果在创建RobotFileParser 对象时传入了链
接，那么就不需要再使用这个方法设置了。
口read （）： 读取robots .txt 文件并进行分析。注意，这个方法执行一个读取和分析操作，如果不
调用这个方法， 接下来的判断都会为False ，所以一定记得调用这个方法。这个方法不会返
回任何内容，但是执行了读取操作。
口parse （）： 用来解析ro bot s. txt 文件，传人的参数是robots . txt 某些行的内容，它会按照robots . txt
的语法规则来分析这些内容。
口can_fetch （）： 该方法传人两个参数， 第一个是Use r-age nt ，第二个是要抓取的URL 。返回的
内容是该搜索引擎是否可以抓取这个URL ，返回结果是True 或False a
口mtime （）： 返回的是上次抓取和分析robots.txt 的时间，这对于长时间分析和抓取的搜索爬虫是
很有必要的，你可能需要定期检查来抓取最新的robots.txt 。
口modified （） ：它同样对长时间分析和抓取的搜索爬虫很有帮助，将当前时间设置为上次抓取
和分析robots.txt 的时间。
下面我们用实例来看一下：
from urllib.robotparser import RobotFileParser
rp = RobotFileParser()
rp.set_url (’ http://www . jianshu . com/robots.txt ’)
rp. read()
print(rp.can_fetch('*',’ http://www.jianshu.com/p/b67554025d7d ’))
print(rp.can_fetch （＇＊二、ttp://www . jianshu.com/search?q=python&page=l&typ e=collections ＇’））
这里以简书为例，首先创建Ro botFilePar ser 对象， 然后通过5 巳t url （）方法设置了robots.txt 的链
接。当然，不用这个方法的话，可以在声明时直接用如下方法设置：
rp = RobotFileParser (’ http://www.jianshu .com/robots .txt ’ )
接着利用can_fetch （）方法判断了网页是否可以被抓取。
运行结果如下：
True
False
这里同样可以使用parse （）方法执行读取和分析，示例如下：
from urllib.robotpar ser impor t RobotFileParser
from urllib.request import urlopen
rp = RobotF i leParser()
rp . parse(u 巾p en （ ’ http://www . jia n s h u . com/robots . txt ’ ） . read() . decode （’ utf-8').split （’阳’））
print (rp. can_ fetc h （ ＇ 本’ ，＇ h ttp://www.jiansh u .com / p /b6755402Sd7d ’））
print(rp . can_fetch （＇＊＇ ， 咱ttp://www . jia 「1shu. com/search 问＝ python&page=l&type=collections ＇’））
运行结果一样：
True
False
本节介绍了rob otpar ser 模块的基本用法和实例，利用它，我们可以方便地判断哪些页面可以抓
取，哪些页面不可以抓取。
