面试: 你介绍一下python

  • 这是因为曾静有一个项目需要用到一些电商网站的信息,所以就自学了一下怎么用python去爬取网络上的信息。
  • 我是直接使用了python一个有名的爬虫框架,叫做scrapy [‘skræpi:],scrapy有一个核心组件叫做引擎,处理整个系统的数据流。
  • 这就是我对这个爬虫框架的处理过程的一个大致的了解。

  • 新建项目project -》明确目标item(相当于java的pojo类) -》 编写爬虫spdier(发送请求以及解析网页数据) -》 存储内容pipeline(存储数据)

猜你喜欢

转载自blog.csdn.net/qq_31279347/article/details/82462379