scrapy爬虫的运行通常是通过scrapy crawl spidername 一个个运行的，如有多个spider文件需要批量运行，常见的有两种方法：
1、使用CrawlProcess实现
2、使用修改crawl源码+自定义命令的方式实现
本文主要讲一下方法2的实现。
思路：1、根据scrapy中crawl命令的源码，进行相应的修改，并写一个自己的python文件，相当于定义了一个新命令。
2、还需要使用scrapy添加自定义命令的功能为我们所写的代码添加一个自定义命令，然后就可以根据这个自定义命令，运行多个爬虫文件了。
1、首先创建一个scrapy项目，并在该项目中创建多个爬虫文件。
创建scrapy项目mymultispider
scrapy startproject mymultispider
创建三个spider文件myspd1, myspd2, myspd3
scrapy gensipder -t basic myspd1 sina.com.cn
scrapy gensipder -t basic myspd2 sina.com.cn
scrapy gensipder -t basic myspd3 sina.com.cn
2、修改crawl源码
查看Crawl源码(可以从scrapy官方的github项目中找到:https://github.com/scrapy/scrapy/blob/master/scrapy/commands/crawl.py),发现crawl命令的源码文件中，
Command类下面的run()方法中指定了要运行哪些爬虫文件，具体通过crawler_process.crawl(spname, **opts.spargs)实现爬虫文件的运行，spname指的是爬虫名。
所以，我们要实现一次运行多个爬虫文件，关键是需要修改run()方法。同时，我们还需要通过crawler_process.spider_loader.list()实现获取所有的爬虫文件。
根据此思路，我们可以修改crawl命令的源码来建立自己的自定义命令所对应的python源码。
a、在spiders目录的同级目录下创建一个mycmd目录，并在该目录中创建一个mycrawl.py，将crawl源码复制过来，修改run()方法。
源码中的run()方法：
def run(self, args, opts):
if len(args) < 1:
raise UsageError()
elif len(args) > 1:
raise UsageError('running "scrapy crawl" with more than one spider is no longer supported')
spname = args[0]
self.crawler_process.crawl(spname, **opts.spargs) #运行爬虫
self.crawler_process.start()
修改为：
def run(self, args, opts):
#获取爬虫列表
spd_loader_list = self.crawler_process.spider_loader.list()
#遍历各爬虫
for spname in spd_loader_list or args:
self.crawler_process.crawl(spname, **opts.spargs)
print("此时启动的爬虫："+spname)
self.crawler_process.start()
在run()方法中先获取爬虫列表，然后再依次通过for循环遍历各爬虫，遍历时使用crawler_process.crawl()运行当前得到的spider爬虫文件，并输出当前爬虫文件的信息，便于调试与观察。
最后，在该文件的同级目录下添加一个初始化文件__init__.py 。
b、通过需要添加一个自定义命令。
可以在项目配置文件(setting.py)中进行相应配置，格式:"COMMANDS_MODULE='项目核心目录.自定义命令源码目录'"，具体如下：
COMMANDS_MODULE = 'mymultispd.mycmd'
随后，在命令行中进入该项目所在目录，并输入scrapy -h,可以查看是否有命令mycrawl 。如果有，就可以使用自定义命令mycrawl启动所有爬虫文件了。