scrapy框架中间件的使用以及scrapy-redis实现分布式爬虫

一、爬虫中间件和下载中间件

1.下载中间件
1 写在middelwares.py中，写个类
2 类中写方法

process_request(self, request, spider):
    -返回 None,继续进入下一个中间件
    -返回 request对象，会进入引擎，被引擎放到调度器，等待下一次被调度执行
    -返回 response对象，会被引擎调度取spider中，解析数据
    -这里可以干什么事？
   	   -修改请求头
       -修改cookie
       -加代理
       -加selenium