请求?
请求类型,请求url,请求头,请求体(已post提交的话对应表单内容)
响应?
响应状态,响应头,响应体
能处理怎样的数据?
网页文本(若是ajax提交的请求,需要解析返回的json格式的数据),图片和视频(二进制形式),其他
解析方式?
直接处理,json解析,正则表达式,beautifulsoup,PyQuery,xPath。
问题:抓到的数据和浏览器中的不一样?
因为是使用javascript渲染的。
怎样解决javascript渲染问题?
1、分析ajax请求 2、使用selenium
怎样保存数据?
1、文本 2、使用关系型数据库 mysql,oracle,sql server 3、非关系型数据库mongodb, redis 4、二进制文件(直接保存)