如何判断一个网页是不是动态页面

如果你需要爬取的数据是放在js里面的,那么就是动态,需要用selenium等工具抓取。

跑下面的代码,就会把网页上所有元素都打印出来。ctrl+F搜索一下,如果要找的元素在一个js object里面,就说明是动态获取到的。

import requests
from bs4 import BeautifulSoup
url = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
response = requests.get(url)
soup = BeautifulSoup(response.text,'lxml')
print(soup.prettify())

猜你喜欢

转载自blog.csdn.net/codechelle/article/details/61030759