scrapy中Post不成功的解决办法

有时候在爬取数据分析目标网站的过成功,会发现F12中,请求的数据类型为post,发送的数据位FormData,可是自己已经按照post请求的FormRequest做了请求,data数据也按照F12中的格式填写完毕了。但请求的结果要不就请求不到,一直堵塞着,要不就是无论换成多少页数,返回的数据都是第一页的数据。
当有这种情况的时候,只需要一步验证就能解决。
我遇到的这个就是此类问题
那就是用postman或者在浏览器中直接重构url,将formRequest的参数全都带入到初始的url中,当成是一个get的请求访问。这个时候你就会发现,原本post请求不到的数据或者错误的数据,居然正常了。
在这里插入图片描述
看,重构过url后,直接访问就跳转到了先关的数码页面里了。

希望这个小技巧能帮助大家。

猜你喜欢

转载自blog.csdn.net/qq_38044574/article/details/83411434