爬虫，在采集处理数据的时候，要想注重速度效率，并且要采集的数据量比较大的话，很有必要使用分布式。
首先进行的第一步，安装redis数据库。
REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。
Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。
它通常被称为数据结构服务器，因为值（value）可以是 字符串(String), 哈希(Map), 列表(list), 集合(sets) 和 有序集合(sorted sets)等类型。
优势就是在数据存储量很大的时候，也可以很快启动，而且分主从服务器，如果主服务器崩溃，可以将另一个从服务器设为主服务器。和快就可以使redis恢复运行，主从之间的分工是，主服务器只管写入数据，从属只负责读取。
介绍完这些，讲讲怎么安装redis数据库。https://redis.io/ 首先从官网下载安装包，然后解压，打开后按步骤来点击。下载的时候，一般从上往下是版本的新旧，版本新的都靠上。
redis安装
2.创建一个文件夹，名字为redis，放在电脑上任意目录，然后将刚才下载的文件解压缩到redis里面
3.终端进入redis文件夹，输入命令redis-server redis.windows.conf 这样的话 服务端就会打开了
4.如果想要便利，直接将redis的路径添加到环境变量里面，这样每次就不用cd进去了
5.重新打开一个终端，开启客户端 redis-cli -h 127.0.0.1 -p 6379
6.设置键值对 设置值 set key1 XX 获取值 get key1
7.如果想要在让B电脑连接到A电脑上，需要获取A电脑的IP
8.B电脑需要设置redis-cli -h A电脑ip
9.在B电脑终端输入命令get key1，就可以获取刚才A电脑上的key1值，如果出错，需要设置A电脑上的配置文件
127.0.0.1注释掉 dazmoize no 关系守护进程 protected-mode no 关闭保护模式
scrapy-redis安装
pip install scrapy-redis