Scrapy 知识补充 + 第一个Scrapy项目(baidu.com)

Scrapy框架

  • 框架
  • 爬虫变得相当简单
  • 异步网络框架Twisted(默认自带多线程)
  • 提供各种接口以及中间件

scrapy长什么样子

  • Spider(爬虫)
    • 初次发起爬虫请求
    • 解析response得到的数据

猜你喜欢

转载自blog.csdn.net/qq_29339467/article/details/105393817