批量抓取微信公众号的文章

记录一下今天的成果,确实可以抓取到,配置完成之后1分钟可以抓取100+片吧,我没有用多进程,如果是多进程的话,效率会翻倍的增加。

抓取思路

  网上的方法大约有三种

  第一:通过搜狗微信  搜索入口 ,模拟搜索抓取,效率比较低,而且还有验证码,反爬虫机制;建议放弃。

  第二:通过抓包工具截取htts请求的数据包,意思就是使用pc端微信登录,监听公众号的推送消息,每当监听到推送之后就把数据获取下来,缺点是无法获取以前的历史记录

  第三:通过微信公众号的后台获取cookie和token来抓取;缺点是需要注册一个公众号,而且token有过期时间

以上几种是网友提供的思路,都可以实现,但同时也都有缺点。

以下是我用第三种方法实现的;

使用php,node.js都可以抓取;

  1.注册微信公众,登录之后选择新建素材,然后点击超链接,搜索任意公众号,保存该公众号的fakeid,同时保存cookie和token,

  2.在https请求中 设置header的cookie为第1步保存的cookie,参数是token,发送https请求,你会惊奇的发现已经拿下某公众号的历史记录 (默认40条);

扫描二维码关注公众号,回复: 6254155 查看本文章

  3.然后根据列表里面的内容链接地址,再获取具体的网页内容;

  4.把获取的内容存到本地的数据库中

总结:以上思路仅供参考,具体实现需要靠自己;

提示:源码收费,还请谅解;

猜你喜欢

转载自www.cnblogs.com/ailingfei/p/10885529.html