(一)爬取游戏资源

做武将卡需要武将图片和对应能力值,恰好官网就有武将库,爬虫抓取很方便。


分析URL和dom元素,写爬虫很简单:

中途遇到网站编码为gb2312导致的中文乱码问题,通过iconv也解决了,很快603个武将属性爬取完成了

一些小图标直接右键保存下来,武将卡边框用ps做了些小处理,恰好小伙伴解压了游戏安装包,发过来一堆高清武将图片,图片资源也准备好了

这时才发现没有属性成长值,武将组合也是js动态生成的抓取不到,那么首先想到的是将武将属性导出excel,然后打开游戏,一个个去查看,填进表格,然后再导入excel解析数据。。想想都太蠢了。

好在想起之前看过一篇攻略,某个app里有武将属性以及成长属性,下载之。

app里的数据咋取出呢,用Fiddler抓包获取接口就行。关于Fiddler抓取手机包,可以查看这篇百度经验

一切就绪,手机点击武将列表,成功抓取https包

点击api链接,成功获取武将属性,连战法属性都有,太贴心了。。不过之前的爬虫也白跑了,心疼三秒钟

心疼完毕,现在可以利用现成接口获取数据了

发现虽然编号到603,实际只有三四百个武将,因此遇到请求404直接无视跳过就行 这次的数据就比较丰富了,达到了两万多行。偷偷吐槽下,country拼错啦,而且攻击距离用range比较好哦

扫描二维码关注公众号,回复: 3787886 查看本文章

武将搞到手了,战法呢点了半天居然发现没发出请求,而且断网也能访问,难道战法是内置在app中的?如此只好从武将数据中去取出战法数据了。
。。。
。。
真的是记流水账了,那本篇就到这里吧,数据太多消化下,下篇开始搭建游戏数据库。

猜你喜欢

转载自www.cnblogs.com/huanglei-/p/9875085.html
今日推荐