基于Scrapy框架的网络爬虫开发流程

前节介绍了什么网络爬虫，什么是Scrapy框架并如何安装
本节介绍基于Scrapy框架的网络爬虫开发流程

1. 新建Scrapy爬虫项目

安装好Scrapy框架后，就可以基于Scrapy框架开发爬虫项目了。基于框架开发项目，不需要从零开始编写代码，只需要掌握如何使用框架，如何添加与自己应用相关的代码即可。

进入打算新建爬虫项目的路径中，使用命令：

scrapy startproject project_name

请用爬虫项目名称替换命令中的project_name，例如，本文打算创建一个爬取新浪网的爬虫，取名为sina_spider，则新建爬虫项目的命令为：

scrapy startproject sina_spider

命令运行结果，如下图所示。

新建爬虫项目

“scrapy startproject sina_spider”命令会创建包含下列内容的sina_spider目录，如图13-5所示。

爬虫文件夹结构

2. 创建爬虫文件

新建好Scrapy爬虫项目后，接下来就是创建爬虫文件。请先进入sina_spider项目路径，用命令：

scrapy genspider spider_filename(爬虫文件名) www.xxx.com (待爬取的网站域名)

创建爬虫文件。例如，本文的爬虫文件名为：sinaSpider，待爬取的网站域名：www.sina.com.cn，则创建爬虫文件sinaSpider的命令为：

scrapy genspider sinaSpider www.sina.com.cn

3. 修改settings.py文件

现在很多网站都有防爬虫措施，为了反网站的防爬虫措施，需要添加user agent信息。请settings.py文件的第19行修改如下所示：

18. # Crawl responsibly by identifying yourself (and your website) on the user-agent  

19. import random  

20. # user agent 列表  

21. USER_AGENT_LIST = [  

22.     "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",  

23.     "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",  

24.     "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",  

25.     "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",  

26.     "Mozilla/4.76 [en_jp] (X11; U; SunOS 5.8 sun4u)",  

27.     "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",  

28.     "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:5.0) Gecko/20100101 Firefox/5.0",  

29.     "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:9.0) Gecko/20100101 Firefox/9.0",  

30.     "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:16.0) Gecko/20120813 Firefox/16.0",  

31.     "Mozilla/4.77 [en] (X11; I; IRIX;64 6.5 IP30)",  

32.     "Mozilla/4.8 [en] (X11; U; SunOS; 5.7 sun4u)"  ]    

33. USER_AGENT = random.choice(USER_AGENT_LIST) # 随机生成user agent

网站的服务器中保存一个robots.txt 文件，其作用是，告诉搜索引擎爬虫，本网站哪些目录下的网页不希望被爬取收录。Scrapy启动后，会在第一时间访问网站的 robots.txt 文件，然后决定该网站的爬取范围。

由于本文的项目并非搜索引擎爬虫，而且很有可能我们想要获取的内容恰恰是被 robots.txt所禁止访问的，所以请把settings.py文件的ROBOTSTXT_OBEY值设置为False，表示拒绝遵守Robot协议，如下所示

1. # Obey robots.txt rules  

2. ROBOTSTXT_OBEY = False # False表示拒绝遵守Robot协议

4. 编写parse()方法

查看由Scrapy生成的sinaSpider.py文件，在SinaspiderSpider类中，有一个parse()方法需要用户编写，如下图所示

编写parse()方法

Scrapy框架把爬取下来的网页源代码存放在response对象中，我们只需要对response对象中的网页源代码做解析，提取想要的数据即可。本范例目标是抓取新浪网页的新闻的标题和对应的链接，如下图所示。

HTML源代码

parse()方法的实现代码，如下所示

1. # -*- coding: utf-8 -*-  

2. import scrapy  

3.   

4. class SinaspiderSpider(scrapy.Spider):  

5.     name = 'sinaSpider'  

6.     allowed_domains = ['www.sina.com.cn']  

7.     start_urls = ['http://www.sina.com.cn/']  

8.   

9.     def parse(self, response):  

10.         data_list = []  #用于存储解析到的数据  

11.         #解析HTML源代码，定位新闻内容  

12.         lis = response.xpath("//div[@class='top_newslist']/ul[@class='list-a news_top']//li")  

13.         #将新闻主题和超链接解析出来并整理到列表中  

14.         for li in lis:  

15.             titles = li.xpath(".//a/text()")  

16.             linkes = li.xpath(".//a/@href")  

17.             for title, link in zip(titles, linkes):  

18.                 #将新闻主题和对应的超链接组合成字典  

19.                 data_dict = {'标题': title.extract(), '链接': link.extract()}  

20.                 #将字典数据存储到data_list这个列表中  

21.                 data_list.append(data_dict)  

22.         return data_list

parse()方法在解析HTML源代码时，使用了XPath路径表达式。XPath是一门在HTML/XML文档中查找信息的语言，常用于在网页HTML源代码中，查找特定标签里的数据。在网络爬虫中使用XPath，只需要掌握 XPath路径表达式即可。XPath 使用路径表达式来选取 HTML/XML文档中的节点或者节点集。