Python爬虫之headers和data的获取
在用爬虫爬取网页数据时,有些网站需要登录后才能爬取内容,还有很多网站会识别是否是由浏览器发出的请求,如果不是会拒绝请求,这个时候就需要模拟浏览器发出请求
#一、headers的获取
就以ipipnet为例:https://www.ipip.net/
打开网页,按下F12键,如下图所示:
点击下方标签中的Network,如下:
接下来刷新网页,找到下图红框中name为www.ipip.net的标签并点击,在右边的显示内容选择headers标签,就可以查看到所需要的headers信息。
下图中红框中就是我们要的headers信息
一般只需要添加User-Agent这一信息就足够了,headers同样也是字典类型;
user_agent = Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
headers = { 'User-Agent' : user_agent }
二、data获取
以电驴登录界面为例:http://secure.verycd.com/signin
按下F12键,如下图所示:
点击Network,然后随意输入用户名和密码,点击登录可以看到如下图所示:
data信息在From Data标签中:
data={
username: “18888888888”,
password: “8888888888”,
continue: “http://www.verycd.com”,
fk: “”,
save_cookie: 1,
login_submit: “登录”
}
每一个登录网站的data信息不一定一样,都需要进入网页确定。