Selenium使用PhantomJS来爬取动态网页时遇到的问题

Selenium使用PhantomJS来动态爬取网页时遇到的问题

结论直接写在开头,请求的url中不要带中文!!!请求的url中不要带中文!!!请求的url中不要带中文!!!
先上有问题的图,由于请求中带了中文,于是page_source中的html代码是未加载JavaScript之前的代码,自然就找不到自己想要的class和id了。(为什么url带中文就不能动态加载页面的原理暂时还不太清楚)。
在这里插入图片描述
接着看一下将中文转url编码后的请求结果。
在这里插入图片描述
当url中不带中文之后,就能动态加载js了,也能解析出js加载完后所带的class。

猜你喜欢

转载自blog.csdn.net/qq1261275789/article/details/123032728
今日推荐