Python爬虫：Scrapy调试运行单个爬虫

版权声明：本文为博主原创文章，欢迎转载，请注明出处 https://blog.csdn.net/mouday/article/details/83857759

一般运行Scrapy项目的爬虫是在命令行输入指令运行的：

$ scrapy crawl spider

每次都输入还是比较麻烦的，偶尔还会敲错，毕竟能少动就少动

Scrapy提供了一个命令行工具，可以在单个spider文件中加入以下代码：

from scrapy import Spider, cmdline

class SpiderName(Spider):
    name = "spider_name"
    ...

if __name__ == "__main__":
    args = 'scrapy crawl spider_name'.split()
    cmdline.execute(args)

这样，如果是mac版的PyCharm，可以直接使用快捷键contrl + shift + R运行项目，省去每次在命令行敲代码的烦恼