学习的课本为《python网络数据采集》，大部分代码来此此书。
做完请求头的处理，cookie的值也是区分用户和机器的一个方式。所以也要处理一下cookie，需要用requests模块，废话不多说开搞。
1.一般情况下python修改cookie
首先获得cookie
import requests params = {'username': 'Ryan', 'password': 'password'} #设一个字典，输入用户名和密码，这个跟host请求差不多 r = requests.post("http://pythonscraping.com/pages/cookies/welcome.php",params) print("Cookie is set to:") print(r.cookies.get_dict()) #获取cookie，并输出 print("-----------") print("Going to profile page...") r = requests.get("http://pythonscraping.com/pages/cookies/profile.php",cookies=r.cookies) #发送cookie print(r.text)
2.对于变化cookie
如果你面对的网站比较复杂，它经常暗自调整cookie，或者如果你从一开始就完全不想要用cookie，Requests 库的session 函数可以解决这些问题：
import requests
session = requests.Session() params = {'username': 'username', 'password': 'password'} s = session.post("http://pythonscraping.com/pages/cookies/welcome.php", params) print("Cookie is set to:") print(s.cookies.get_dict()) print("-----------") print("Going to profile page...") s = session.get("http://pythonscraping.com/pages/cookies/profile.php") print(s.text)
以上代码没有设置cookie值，这便是session的方便之处。会话（session）对象（调用requests.Session() 获取）会持续跟踪会话信息，像cookie、header，甚至包括运行HTTP 协议的信息，HTTPAdapter（为HTTP和HTTPS 的链接会话提供统一接口）
3.基于用户操作后脚本产生的cookie
因为requests 模块不能执行JavaScript，所以它不能处理很多新式的跟踪软件生成的cookie，比如Google Analytics，只有当客户端脚本执行后才设置cookie（或者在用户浏览页面时基于网页事件产生cookie，比如点击按钮）。为了处理这些动作，你需要用Selenium 和PhantomJS 包（phantomJS包已经凉了，可以用火狐或者谷歌的代替）
（1）获取cookie
from selenium import webdriver
driver = webdriver.Firefox() driver.get("https://www.bilibili.com/") driver.implicitly_wait(1)
print(driver.get_cookies())
（2）调用delete_cookie()、add_cookie() 和delete_all_cookies() 方法来处理cookie
另外，还可以保存cookie 以备其他网络爬虫使用。下面的例子演示了如何把这些函数组合在一起：
from selenium import webdriver
driver = webdriver.Firefox()
driver.get("http://pythonscraping.com")
driver.implicitly_wait(1) print(driver.get_cookies())
savedCookies = driver.get_cookies()
driver2 = webdriver.Firefox()
driver2.get("http://pythonscraping.com")
driver2.delete_all_cookies()
for cookie in savedCookies:
driver2.add_cookie(cookie)
driver2.get("http://pythonscraping.com")
driver.implicitly_wait(1)
print(driver2.get_cookies())
在这个例子中，第一个webdriver 获得了一个网站，打印cookie 并把它们保存到变量savedCookies 里。第二个webdriver 加载同一个网站（技术提示：必须首先加载网站，这样Selenium 才能知道cookie 属于哪个网站，即使加载网站的行为对我们没任何用处），删除所有的cookie，然后替换成第一个webdriver 得到的cookie。当再次加载这个页面时，两组cookie 的时间戳、源代码和其他信息应该完全一致。Google Analytics 的角度看，第二个webdriver 现在和第一个webdriver 完全一样。