python爬虫知识点归纳(一)获取登录后页面的三种方式

我们在写爬虫时,有些网页是需要登录后才可以查看到的,按照我们之前直接通过requests的get请求是行不通的。
一下提供三种解决方法:

  1. 先登录网页,添加headers中的cookies键,值为cookie字符串
  2. 在请求方式中添加cookies参数,接受字典形式的cookie,字典形式的键是cookie的name,值是cookie的值
  3. 实例化session,使用session发送post请求,再使用它获取登陆后的页面。

猜你喜欢

转载自blog.csdn.net/qq_41831288/article/details/88782061