SCRAPY 强势登录豆瓣网 并获取热门评论

今天给大家讲解一下如果破解豆瓣网的登录。


这个就是豆瓣的登录页面,我们首先审查元素,查看我们需要post什么东东,我们首先在输入框中输入错误的数据,这样才能查看。


可以看出post的数据有这么多东东,其中source,redir,captcha-solution,login这些都是静态的我们可以直接复制粘贴,重要的是获取验证码,这里我使用的人工输入,没用自动打码。



上面两个图片是进行模拟登陆。


上面这个图片是 获取评论,这里我是使用的item_loader方法获取热门评论。


上面图片是items的代码


上面的是pipeline的代码


上图是setting中的


结果图:


上图是生成的json文件,把评论放在一个json文件里面,当然你也可以把它扔到数据库里


上图是下载下来的电影封面图。


大家如果有什么疑问,在下方评论吧。

我之所以不讲解代码因为代码有点多,还有是希望培养大家独立思考的能力。


拜拜喽

猜你喜欢

转载自blog.csdn.net/qq_38230338/article/details/80719172