网络爬虫学习笔记（一）——Requests库入门

安装requests库

pip install requests

建议换国内源

r = requets.get(url)

• 构造一个向服务器请求资源的Requests对象，get（）函数返回一个包含服务器资源的Response对象

• Response对象包含爬虫返回的内容，重要

• Response对象的属性
  

• r.encoding：如果header中不存在charset，则认为编码为ISO-8859-1

• r.apparent_encoding：根据网页内容分析出的编码方式，要比r.encoding更为准确

通常，可以通过r.status_code的结果作为判断，如果返回200，则可以用

r.text
r.enconding 
r.apparent_encoding 
r.content

来解析返回的对象中信息，否则404或其他则说明某些原因出错将产生异常

通用代码框架

扫描二维码关注公众号，回复： 10929490 查看本文章

try:
	r = requests.get(url, timeout=30)
	r.rasise_for_status()
	r.encoding = r.apparent_encoding
	return r.text
except:
	return "产生异常"

• 完整格式

requests.get(url, params=None, **kwargs)

url：获取页面的url链接
param：url中的额外参数，字典或字节流格式，可选
**kwargs：12个控制访问的参数

Requests库的异常