网络爬虫-模拟手机浏览器抓取数据

有些网站的数据在PC端很复杂,参数加密很严重,但是移动APP端的就没那么多加密,所以在遇到有些瓶颈的情况下,可以考虑从网页端转到移动端去抓包,爬取数据。这里有两种方法:

一. 使用模拟器下载APP

如果该网站有APP的话,推荐使用逍遥安卓模拟器,可以设置代理,使用fiddler进行抓包。

二.使用谷歌浏览器伪装安卓/苹果用户

这种方式就比较简单方便,直接修改chrome浏览器的user-agent为指定的机型即可。

这里主要介绍一下第二种方法。

乐桃航空PC端

这里写图片描述

乐桃航空移动端

这里写图片描述

可以看出移动端的界面比PC端的简洁很多,抓包的时候也方便许多,可以过滤掉很多杂乱无章的js或者其他加载的数据。

如何设置修改chrome浏览器的user-agent

1.下载好最新版本的谷歌浏览器(我这里的版本是v63)
2.将Google Chrome复制粘贴一份,一个用来做正常PC端浏览器,一个用来模拟手机浏览器
3.右键单击复制后的Google Chrome浏览器,选择属性
4.在Google Chrome的目标后添加以下代码(以我桌面的浏览器为例 注意–user前面有一个空格)

安卓

"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" --user-agent="Mozilla/5.0 (Linux; U; Android 2.2; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1"

苹果

"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" --user-agent="Mozilla/5.0 (iPad; U; CPU OS 3_2_2 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Version/4.0.4 Mobile/7B500 Safari/531.21.10"

5.给该浏览器重命名为安卓/苹果浏览器(这一步可以忽略,主要是用来区分普通浏览器和伪装浏览器)

接下来打开浏览器 可以发现已经变成安卓/苹果浏览器界面了,有些网站没有设置自适应屏幕,所以自行打开开发者工具调试一下分辨率就OK了。

PS
这里我还得吐槽一下乐桃航空,下订单的时候必须支付完成之后才有订单,说有支付宝方式支付但是找了半天,PC端和移动端都是没有的!这让我抓完包之后进行测试的时候如何是好~ 毕竟不敢真的将自己的信用卡号填上去

猜你喜欢

转载自blog.csdn.net/qq_39802740/article/details/82714532