python实战项目45:采集百度资讯

一、寻找数据接口

F12打开开发者工具,找到数据接口:
在这里插入图片描述
接下来,使用requests库发送请求,发送请求时注意携带cookie、referer、user-agent等参数。

二、解析数据

这里使用BeautifulSoup库解析提取数据,具体使用方法这里不再赘述。

三、存储数据

数据结构如下图所示:
在这里插入图片描述

四、完整代码

完整代码如下:

import requests
from bs4 import BeautifulSoup

猜你喜欢

转载自blog.csdn.net/lyccomcn/article/details/143164407