爬虫学学学

进行响应之后,得到的输出,利用”utf-8”进行转码,得到中文。在框中得到显示,打开的百度页面

当爬取了百度的网页源代码,但是发现无法在里面运行,是因为其需要Google.Chorme浏览器

但是可以通过修改打开路径,解决问题 

Web请求全过程

服务器渲染:在服务器端直接整合内容和html,统一返回给浏览器。(在页面源代码中能看到数据)

客户端渲染:第一次请求只要一个html骨架,第二次请求拿到数据,进行数据展示。(在页面源代码中看不到数据)

浏览器抓包工具

HTTP协议:

请求(请求体:请求的相关参数)

响应

请求方式:

GET 显示提交

POST 隐示提交

安装Requests

在本地终端运行

https://www.useragentstring.com

可在上述网站,查看到自己的User-Agent

“注意写法,多一个空格也不行”

猜你喜欢

转载自blog.csdn.net/m0_64102565/article/details/129847710