爬虫学习(二)requests模块的使用

一、requests的概述

requests模块是用于发送网络请求,返回响应数据。底层实现是urllib,而且简单易用,在python2、python3中通用,能够自动帮助我们解压(gzip压缩的等)网页内容。

二、requests的基本使用

1、基本使用:

  • 安装requests模块: pip install requests
  • 导入模块:import reqeusts
  • 发送请求,获取响应:response = requests.get(url)
  • 从响应中获取数据

2、方法:

(1)requests.get(url, params=None, **kwargs),发送一个get请求,返回一个Response对象

  • url:请求的url
  • params:get请求的?后面可选参数字典
    方式一:自己拼接一个带有参数的URL,比如"https://www.sogou.com/web?query={}"
    方式二:在发送请求时,使用params指定,格式requests.get("url", params={})
  • **kwargs:可选参数
    headers请求头参数字典,格式 requests.get(url, headers={})

(2)requests.post(url, data=None, json=None, **kwargs),发送一个post请求

3、对象:

(1)Response对象,是发送请求后的响应对象

常用属性:

  • Response.text:str类型的响应数据
  • Response.content:二进制类型的响应数据
  • Response.status_code:响应状态码
  • Response.headers:响应头
  • Response.request.headers:请求头

猜你喜欢

转载自www.cnblogs.com/chjxbt/p/11359679.html