爬取大量数据的时候，爬取速度显著影响着爬取用时，总结一下我在使用scrapy的时候用来提升爬取速度的方法。
在settings.py中设置如下参数：
DOWNLOAD_DELAY = 0
CONCURRENT_REQUESTS = 100
CONCURRENT_REQUESTS_PER_DOMAIN = 100
CONCURRENT_REQUESTS_PER_IP = 100
COOKIES_ENABLED = False
一、降低下载延迟
DOWNLOAD_DELAY = 0
将下载延迟设为0，这时需要相应的防ban措施，一般使用user agent轮转，构建user agent池，轮流选择其中之一来作为user agent。
user agent轮转可参考博客http://blog.csdn.net/u012150179/article/details/35774323#
二、多线程
CONCURRENT_REQUESTS = 100
CONCURRENT_REQUESTS_PER_DOMAIN = 100
CONCURRENT_REQUESTS_PER_IP = 100
scrapy网络请求是基于Twisted，而Twisted默认支持多线程，而且scrapy默认也是通过多线程请求的，并且支持多核CPU的并发，我们通过一些设置提高scrapy的并发数可以提高爬取速度。
三、禁用cookies
COOKIES_ENABLED = False
禁用cookies可以避免被ban
经过实测，以上设置可以大幅提升scrapy的爬取速度。