python爬取异步加载的页面的信息

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_36411874/article/details/87973620

假如某些页面是异步加载他是异步js加载出来的，目的想要拿到这些的url得时候，方法两种。

（一）可以用chrome headless，参考网址

python selenium 用法 和 Chrome headless：

https://blog.csdn.net/freeking101/article/details/70056173

可以执行js语句

（二）或者用pyppeteer ，也是调用chrome的api的，无头浏览器