Python网络爬虫案例实战:静态网页爬取:自定义请求头部
在Requests中,伪装请求头部是采集时经常用的,可以用如下方法来隐藏:
import requests
r = requests.get('http://www.zhidaow.com')
print(r.request.headers['User-Agent'])
headers = {
'User-Agent':'alexkh'}
r = requests.get('http://www.zhidaow.com', headers = headers)
print(r.request.headers['User-Agent'])
运行程序,输出如下:
python-requests/2.31.0
alexkh