Python网络爬虫-bugs记录

1. Scrapy运行报错:ModuleNotFoundError: No module named 'dang.dang’

运行爬虫文件报错:

from dangdang.dangdang.items import DangdangItem
ModuleNotFoundError: No module named 'dangdang.dangdang'

在这里插入图片描述
解决问题注意:引入items的路径。items包实际是在上一级目录的,直接对着教程操作容易忽略这个问题

from dangdang.dangdang.items import DangdangItem # 这样报错

from ..items import DangdangItem # 这样OK

参考文章:
Scrapy运行报错:ModuleNotFoundError: No module named ‘douban.douban’

2.ROBOTS协议问题
运行爬虫文件报:
在这里插入图片描述
解决方法:将setting文件中的ROBOTSTXT_OBEY改为False
在这里插入图片描述
注意:此协议为国际标准协议,受法律保护。

待续

发布了42 篇原创文章 · 获赞 0 · 访问量 1858

猜你喜欢

转载自blog.csdn.net/qq_44750620/article/details/105055172