Python爬虫第二篇--基础篇

爬虫概念

请求网站并提取数据的自动化程序。

爬虫基本流程

1. 发起请求

   通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的header等信息，等待服务器响应。

2. 获取响应内容

   如果服务器能正常响应，会得到一个Response，Response的内容便是所要获取的页面内容，类型可能有HTML，Json字符串，二进制数据（如图片视频）等类型。

3. 解析内容

   得到的内容可能是HTML，可以用正则表达式、网页解析库进行解析。可能是Json，可以直接转换为Json对象解析，可能是二进制，可以做保存或进一步的处理。

4. 保存数据

   保存形式多样，可以存文本，可以存数据库或者特定格式的文件

Request

• 请求方式

  • GET和POST
    • 区别就是GET把参数包含在URL中，POST通过request body传递参数
    • GET和POST两种基本请求方法的区别
  • HEAD、PUT、DELETE、OPTIONS等

• 请求URL

  URL全称统一资源定位符，如一个网页文档、一张图片、一个视频等都可以用URL唯一来确定

• 请求头

  包含请求时的头部信息，如User-Agent、Host、Cookies等信息

• 请求体

Response

• 响应状态

  有多种响应状态，如200代表成功、301代表跳转、404代表找不到页面、502服务器错误

• 响应头

  如类容类型、内容长度、服务器信息、设置Cookie等等

• 响应体

  最主要的部分包含了请求资源的内容，如网页HTML、图片、二进制等

request与response要和浏览器控制台中network中资源对应学习

爬虫抓取数据类型

• 网页文本

  HTML、Json等

• 图片

  二进制数据，保存为图片格式

• 视频

  二进制数据，保存为视频格式

• 其他

  只要是能请求的，都能获取

爬虫解析方式

• 直接处理
• Json解析
• 正则表达式
• BeautifulSoup
• PyQuery
• XPath

JavaScript渲染问题

• 分析Ajax请求
• Selenium/WebDriver
• Splash
• PyV8、Ghost.py

数据保存

• 文本

  纯文本、Json、xml等

• 关系型数据库

  MySQL、Oracle、SQL Server等具有结构化表结构形式存储

• 非关系型数据库

  如MongoDB、Redis等key-value形式存储

• 二进制文件

  如图片、视频、音频等直接保存成特定格式