版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/lu_yongchao/article/details/72354457
介绍
续接上篇：Python网络爬虫使用总结，本篇记录下我学习用scrapyd部署scrapy程序的过程。scrapyd的资料可以参见：scrapyd官网。
安装scrapyd
安装后会出现在python的bin目录下。
安装命令：pip install scrapyd
验证scrapyd安装
在命令行执行执行scrapyd命令即可启动scrapyd，执行完命令后如下图
安装上传工具(scrapyd-client)
Scrapyd-client是一个专门用来发布scrapy爬虫的工具，安装后会出现在python的bin目录下。
安装命令：pip install scrapyd-client
发布-(拷贝scrapyd-deploy到爬虫目录下)
发布-(修改爬虫的scapy.cfg文件)
1、去掉url前的注释符号，这里url就是你的scrapyd服务器的网址；
2、deploy:127表示把爬虫发布到名为127的爬虫服务器上，deploy:后的名字可以自己定义；
3、default=i2Stocks .settings 建议用工程名字。
验证配置：执行如下命令python3 scrapyd-deploy -l
预期结果如下：
发布-(上传scrapy到scrapyd)
上传命令：python3 '/soft/test/i2Stocks/scrapyd-deploy' 127 -p i2Stocks
7、使用linux自带的调度工具执行刚刚发布的爬虫
确认当前的linux系统有这个工具curl
curl的介绍请参见：百度百科curl介绍。
发布job命令：curl http://localhost:6800/schedule.json -d project=i2Stocks -d spider=stocks
我遇到的问题是spider与工程名称不一致，查看spider的名称，可以通过如下截图获取：
查看job执行情况及运行日志方法如下：
