Requests: 让 HTTP 服务更加简洁
2.1 添加 headers 和 查询参数
import requests kw = {'wd':'百度'} headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36" } # params 接收一个字典或者字符串的查询参数,字典类型自动转换为url编码,不需要urlencode() response = requests.get("http://www.baidu.com/s?", params = kw, headers = headers) # 查看响应内容,response.text 返回的是Unicode格式的数据 print(response.text) # 查看响应内容,response.content返回的字节流数据 print(response.content) # 查看完整url地址 print(response.url) # 查看响应头部字符编码 print(response.encoding) # 查看响应码 print(response.status_code)
2.2. 代理(proxies参数)
import requests # 根据协议类型,选择不同的代理 proxies = { "http": "211.159.177.212:3128", "https": "119.28.138.104:3128", } response = requests.get("http://www.baidu.com/", proxies=proxies) print(response.text)2.3 如果一个响应中包含了cookie,那么我们可以利用 cookies参数拿到
import requests response = requests.get("http://www.baidu.com/") # 7. 返回CookieJar对象: cookiejar = response.cookies # 8. 将CookieJar转为字典: cookiedict = requests.utils.dict_from_cookiejar(cookiejar) print(cookiejar) print(cookiedict)2.4 使用requests 通过session登陆人人网
import requests # 1. 创建session对象,可以保存Cookie值 ssion = requests.session() # 2. 处理 headers headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"} # 3. 需要登录的用户名和密码 data = {"email":"username", "password":"password"} # 4. 发送附带用户名和密码的请求,并获取登录后的Cookie值,保存在ssion里 ssion.post("http://www.renren.com/PLogin.do", data = data) # 5. ssion包含用户登录后的Cookie值,可以直接访问那些登录后才可以访问的页面 response = ssion.get("http://www.renren.com/880792860/profile") # 6. 打印响应内容 print(response.text)2.5 处理HTTPS请求 SSL证书验证(比如12306)
import requests response = requests.get("https://www.12306.cn/mormhweb/", verify = False) # 直接添加verify=False print(response.content.decode("utf-8"))2.6 保存图片优化代码
if response.status_code == 200: #保存图片名字为logo.jpg with open('logo.jpg', 'wb') as f: for block in response.iter_content(1024): #判断是否还有内容,没有就退出for循环 if not block: break #把取出的内容写入文件 f.write(block)