Python爬虫：requests库快速入门

  Requests是在urllib库基础上用Python开发的HTTP库，与urllib 相比，语法简单易懂, 更加符合Python 优雅、简洁的哲学，且完全满足 HTTP 访问需求。

Requests 安装

pip install requests

requests库 使用范例

import requests
url = "https://www.baidu.com"
r = requests.get(url)
print(r.status_code)
print(r.headers)
print(r.encoding)
print(r.text)
print(r.text.encode(encoding=r.encoding))
print(r.content)
print(r.content.decode())

运行结果

若r.status_code返回200，说明响应成功；
若r.status_code返回418，说明服务器拒绝响应，需要在代码中加入防网站反爬功能
解决方案：加上headers，模拟浏览器对网页的访问

# 加入headers防网站反爬 
headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36 Edge/15.15063' }
url = 'https://movie.douban.com/chart'
r = requests.get(url, headers=headers)