1、打开cmd命令行工具，输入scrapy startproject 项目名称
2.使用pycharm打开项目，查看项目目录
3、打开CMD，cd命令进入到爬虫项目文件夹，输入scrapy genspider 爬虫文件名 爬虫基础域名。（特别注意要CD进入爬虫文件夹里面后再使用genspider来创建爬虫）
4、打开pycharm，发现spider目录下多出一个bole.py文件
5、设置setting里面的 ROBOTSTXT_OBEY = False
python Scrapy 框架学习笔记
猜你喜欢
转载自blog.csdn.net/zxl7725103/article/details/81143766
今日推荐
周排行