前言
这周用java实现了一个cookie池的功能，主要是因为python程序无法连接公司的redis，所以就用java写了一版。cookie池顾名思义就是用来给爬虫提供可用cookie，使其能够顺利登陆程序。cookie池由三部分构成：生成、检测、获取。生成cookie这部分是python实现的，然后使用flask给java暴露一个接口。检测部分就涉及到了今天这篇博客的主题，下边我们就来详细的记录一下
检测模块
首先我们将生成好的cookie存在redis中的可用队列，结构使用hash存储，key为weibo:available，value为(key为用户名，value为cookie值的map)，然后起一个定时任务，去轮询redis中的可用队列，遍历每一个cookie值，调用checkCookie的接口，检查cookie的可用性，如果cookie不可用，则将此值存入不可用的队列中。生成cookie的接口会对不可用队列进行遍历，生成可用的cookie。
检测cookie的具体方法
思路如下：
- 获得cookie，将cookielist转成name=value的字符串拼接格式
- 使用http请求，在请求头的位置，添加上cookie，请求微博地址
- 对返回的html进行解析
- 如果上边的导航栏中，出现了用户名，则证明cookie有效
下边是具体的代码：
总结
开始觉得java写cookie池没有python写着方便，写完发现，其实也还好，理清楚思路一步步去实现就好了~~