Scrapy爬虫入门

为什么要做爬虫？

都说现在是”大数据时代”，那数据从何而来？

企业产生的用户数据、数据平台购买数据、政府/机构公开的数据、数据管理咨询公司、爬取网络数据

爬虫是什么？

百度百科：网络爬虫

我们今后要学习的，主要是 聚焦爬虫

聚焦爬虫，是”面向特定主题需求”的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于： 聚焦爬虫在实施网页抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页信息。

Scrapy 框架

• Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。

• 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。

• Scrapy 使用了 Twisted‘twɪstɪd异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。

Scrapy架构图(绿线是数据流向)：

• Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。

• Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。

• Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理，

• Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)，

• Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方.

• Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。

• Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）

Scrapy的运作流程

引擎：Hi！Spider, 你要处理哪一个网站？

Spider：老大要我处理xxxx.com。

引擎：你把第一个需要处理的URL给我吧。

Spider：给你，第一个URL是xxxxxxx.com。

引擎：Hi！调度器，我这有request请求你帮我排序入队一下。

调度器：好的，正在处理你等一下。

引擎：Hi！调度器，把你处理好的request请求给我。

调度器：给你，这是我处理好的request

引擎：Hi！下载器，你按照老大的下载中间件的设置帮我下载一下这个request请求

下载器：好的！给你，这是下载好的东西。（如果失败：sorry，这个request下载失败了。然后引擎告诉调度器，这个request下载失败了，你记录一下，我们待会儿再下载）

引擎：Hi！Spider，这是下载好的东西，并且已经按照老大的下载中间件处理过了，你自己处理一下（注意！这儿responses默认是交给def parse()这个函数处理的）

Spider：（处理完毕数据之后对于需要跟进的URL），Hi！引擎，我这里有两个结果，这个是我需要跟进的URL，还有这个是我获取到的Item数据。

引擎：Hi ！管道 我这儿有个item你帮我处理一下！调度器！这是需要跟进URL你帮我处理下。然后从第四步开始循环，直到获取完老大需要全部信息。

管道“调度器：好的，现在就做！

注意！只有当调度器中不存在任何request了，整个程序才会停止，（也就是说，对于下载失败的URL，Scrapy也会重新下载。）

---

哈哈哈哈，终于要进入正题了，敲黑板！！！

新建项目(scrapy startproject)

• 在开始爬取之前，必须创建一个新的Scrapy项目。进入自定义的项目目录中，运行下列命令：

• mySpider 为项目名称，可以看到将会创建一个 mySpider 文件夹，目录结构大致如下：
  
  简单介绍下各个主要文件的作用：
  

  scrapy.cfg ：项目的配置文件
  mySpider/ ：项目的Python模块，将会从这里引用代码
  mySpider/items.py ：项目的目标文件
  mySpider/pipelines.py ：项目的管道文件
  mySpider/settings.py ：项目的设置文件
  mySpider/spiders/ ：存储爬虫代码目录

明确目标(mySpider/items.py)

我们打算抓取：http://www.itcast.cn/channel/teacher.shtml 网站里的所有讲师的姓名、职称和个人信息。 1.打开mySpider目录下的items.py 2.Item 定义结构化数据字段，用来保存爬取到的数据，有点像Python中的dict，但是提供了一些额外的保护减少错误。 3.可以通过创建一个 scrapy.Item 类， 并且定义类型为 scrapy.Field的类属性来定义一个Item（可以理解成类似于ORM的映射关系）。 4.接下来，创建一个ItcastItem 类，和构建item模型（model）。

import scrapy
class ItcastItem(scrapy.Item):
    name = scrapy.Field()
    title = scrapy.Field()
    info = scrapy.Field()

制作爬虫 （spiders/itcast.py）

• 在当前目录下输入命令，将在mySpider/spider目录下创建一个名为itcast的爬虫，并指定爬取域的范围：
  

• 运行上述代码，mySpider/spiders目录会生成一个itcast.py
  

• itcast.py中默认增加了下列代码：
  

要建立一个Spider， 你必须用scrapy.Spider类创建一个子类，并确定了三个强制的属性 和 一个方法。

name = “” ：这个爬虫的识别名称，必须是唯一的，在不同的爬虫必须定义不同的名字。
allow_domains = [] 是搜索的域名范围，也就是爬虫的约束区域，规定爬虫只爬取这个域名下的网页，不存在的URL会被忽略。
start_urls = () ：爬取的URL元祖/列表。爬虫从这里开始抓取数据，所以，第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。
parse(self, response) ：解析的方法，每个初始URL完成下载后将被调用，调用的时候传入从每一个URL传回的Response对象来作为唯一参数，主要作用为：负责解析返回的网页数据(response.body)，提取结构化数据(生成item)生成需要下一页的URL请求。

• 将start_urls的值改为需要爬取的第一个url

start_urls = ("http://www.itcast.cn/channel/teacher.shtml",)

• 修改parse()方法：

    def parse(self, response):
        filename = "teacher.html"
        open(filename, 'wb').write(response.body)

• 在mySpider目录下执行：

• 运行之后，出现此情况，代表执行完成。
  

• 当前文件夹中出现一个teacher.html文件，里面就是我们要爬取网页的全部源代码信息

• 爬数据完成，接下来是取数据的过程，先观察网页源代码。
  
  是不是一目了然？？？
• 之前在mySpider/item.py里定义了ItcastItem类。这里引入进来，然后将得到的数据封装到一个ItcastItem对象中，可以保存每个老师的属性：

import scrapy
from mySpider1.items import ItcastItem

class ItcastSpider(scrapy.Spider):
    # 爬虫的识别名称，唯一的
    name = 'itcast'
    # 搜索的域名范围
    allowed_domains = ['itcast.cn']
    # 爬取的URL元组/列表
    start_urls = ("http://www.itcast.cn/channel/teacher.shtml",)

    def parse(self, response):

        for each in response.xpath("//div[@class='li_txt']"):
            # 将我们得到的数据封装到一个 `ItcastItem` 对象
            item = ItcastItem()
            # extract()方法返回的都是unicode字符串
            name = each.xpath("h3/text()").extract()
            title = each.xpath("h4/text()").extract()
            info = each.xpath("p/text()").extract()

            # xpath返回的是包含一个元素的列表
            item['name'] = name[0]
            item['title'] = title[0]
            item['info'] = info[0]

            # 将获取的数据交给pipelines
            yield item

思考下 yield 在这里的作用

• item写入JSON文件，以下 pipeline 将所有爬取到的item,存储到一个独立的items.json文件，每行包含一个序列化为‘JSON’格式的‘item’

import json

class Myspider1Pipeline(object):
    def __init__(self):
        self.file = open('teacher.json', 'wb')

    def process_item(self, item, spider):
        content = json.dumps(dict(item), ensure_ascii=False) + "\n"
        self.file.write(content.encode('utf-8'))
        return item

    def close_spider(self, spider):
        self.file.close()

• 启用一个 item Pipeline 组件，将它的类添加到 settings.py 文件 ITEM_PIPELINES配置
  
  分配给每个类的整型值，确定了他们运行的顺序，item 按数字从低到高的顺序，通过pipeline，通常将这些数字定义在0-1000范围内（0-1000随意设置，数值越低，组建的优先级越高）
• 在mySpider目录下执行：

• 运行之后，出现此情况，代表执行完成。
  

• 查看当前目录，是否生成teacher.json
  

是不是已经得到数据了？