python模拟登录微博网站利用urllib2 和 cookie

方法还有待改进,前期需手动操作,待后续更新。。。

1.从浏览器中获取要登录网站cookie

    例如 chrome,步骤如下:
    setting:

   dvanced:



    contentSetting:



    all cookies and site data:



    search sinalogin cookie and url:



2.通过 chrome 的 Developer Tools (key F12)调试登陆成功的微博主页,然后用里面的访问记录,找到会话期间的cookie

open your sina homepage  press 'F12' get into the debug model
    (1)在地址栏获取url

    (2)然后像图中一样获取session期间的cookie



3.通过python的urllib2结合刚刚找到的cookie访问你的微博主页面

点击(此处)折叠或打开

  1. import urllib2
  2. import urllib
  3. import sys
  4. import re


  5. url = 'your url'
  6. headers = {'cookie':'your cookie'}
  7. req = urllib2.Request(url, headers=headers)
  8. r = urllib2.urlopen(req)
  9. htmlcont = r.read()
  10. print htmlcont
  11. f = open('htmlcode', 'w')
  12. f.write(htmlcont)
  13. f.close()

通过上面的步骤获得了登陆成功页面的HTML代码,可通过浏览器打开,也可通过像selenium一样的工具包进行动态网页解析,提取网页内容。


猜你喜欢

转载自blog.csdn.net/warrior_zhang/article/details/50503401
今日推荐