聚焦爬虫的思路及其抓包

# 聚焦爬虫的设计思路:
1.确定的url,发起请求,获取响应
# 确定url,抓包完成,在网络请求过程中,会产生很多的数据包,抓包就是加在所有的数据包,并从中筛选出包含目标数据的数据包。
# 发起请求:requests.get(url,oarams,headers)
# headers:请求头,是一个字典
# params:请求参数,一个字典
# 获取响应:res=requests.get(),res是一个响应对象,res.text响应数据的文本形式
2.数据解析:从响应数据中抽离我们想要的目标数据
# 正则
# xpath
3.数据持久化
# 写文件,数据库
# 抓包:在网络请求的过程中

猜你喜欢

转载自www.cnblogs.com/zjldeboke/p/12757597.html