think爬虫

请求?

请求类型,请求url,请求头,请求体(已post提交的话对应表单内容)

响应?

响应状态,响应头,响应体

能处理怎样的数据?

网页文本(若是ajax提交的请求,需要解析返回的json格式的数据),图片和视频(二进制形式),其他

解析方式?

直接处理,json解析,正则表达式,beautifulsoup,PyQuery,xPath。

问题:抓到的数据和浏览器中的不一样?

因为是使用javascript渲染的。

怎样解决javascript渲染问题?

1、分析ajax请求        2、使用selenium

怎样保存数据?

1、文本 2、使用关系型数据库 mysql,oracle,sql server  3、非关系型数据库mongodb, redis  4、二进制文件(直接保存)

猜你喜欢

转载自blog.csdn.net/jiuweideqixu/article/details/80508823