简单爬虫学习记录

• 实现思路解析：

爬虫调度器：启动/停止爬虫，规定爬虫的范围；
URL管理器：管理2个URL：新的没有爬过的urls；旧的爬过的urls；
URL下载器：下载url对应的html数据；
HTML解析器：解析并过滤下载到的html数据；
数据输出器：把解析过滤后的数据，按一定的格式存储到对应的文件中。