1. Scrapy运行报错:ModuleNotFoundError: No module named 'dang.dang’
运行爬虫文件报错:
from dangdang.dangdang.items import DangdangItem
ModuleNotFoundError: No module named 'dangdang.dangdang'
解决问题注意:引入items的路径。items包实际是在上一级目录的,直接对着教程操作容易忽略这个问题
from dangdang.dangdang.items import DangdangItem # 这样报错
from ..items import DangdangItem # 这样OK
参考文章:
Scrapy运行报错:ModuleNotFoundError: No module named ‘douban.douban’
2.ROBOTS协议问题
运行爬虫文件报:
解决方法:将setting文件中的ROBOTSTXT_OBEY改为False
注意:此协议为国际标准协议,受法律保护。
待续